JP7278764B2

JP7278764B2 - 撮像装置、電子機器、撮像装置の制御方法およびプログラム

Info

Publication number: JP7278764B2
Application number: JP2018238629A
Authority: JP
Inventors: 純也水谷
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-12-20
Filing date: 2018-12-20
Publication date: 2023-05-22
Anticipated expiration: 2038-12-20
Also published as: JP2020101624A

Description

本発明は、ハレーションの影響を抑制する制御を行う撮像装置、電子機器、撮像装置の制御方法およびプログラムに関する。

カメラを用いて低照度（低輝度）な環境で被写体を撮像する場合に、高照度な光がカメラに入射すると、光源の撮像位置の周囲に光が漏れ出て撮像されるハレーションという現象が生じる。ハレーションは、高輝度な入射光が撮像素子に結像して撮像素子で電荷が過剰に発生することにより、周囲の画素に伝搬することにより生じる。ハレーションが生じた画像は、被写体の視認性低下といった画像の画質劣化が問題となっている。例えば、夜間において公道を監視するカメラを用いた被写体の撮像を行う場合に、画像にハレーションが発生することがある。夜間においては、車はヘッドライトを点灯していることから、周囲の環境光とヘッドライトの光とで大きなコントラストを生じるため、この状態で被写体を撮像することで、車のヘッドライトの周囲にハレーションが生じた画像が得られる。そして、ハレーションが生じた画像では、車の外観や車番等の視認性が低下する。

関連する技術として、赤外線カットフィルタと可視光線カットフィルタの挿抜を制御する技術が提案されている（特許文献１を参照）。

特開２０１６－２２０００２号公報

例えば、車のヘッドライトには、赤外波長域の光を多く含む光を照射するハロゲン灯が使用されることが多い。ハロゲン灯が光源となっている場合、カメラの光路に赤外線カットフィルタを挿入したとしても、カメラには赤外波長域の光を多く含む光がカメラに入射する。このため、特許文献１で提案されている技術であっても、上述したような状況では、カメラを用いて被写体を撮像することで得られた画像に対するハレーションの影響を抑制することが難しい。

本発明の目的は、光源の種類に依存することなく、ハレーションの影響を効果的に抑制することである。

上記目的を達成するために、本発明の撮像装置は、赤外波長の光を含む入射光を受光する撮像素子と、前記撮像素子から得られる画像データの輝度情報に基づいて、当該画像データに生じるハレーションを検出する検出手段と、前記検出手段によって検出されたハレーションの強度を評価する評価手段と、前記評価手段によって評価されたハレーションの強度に基づいて、被写体に照射する赤外光の照射光量を増加させるように前記照射光量を算出し、その算出された前記照射光量で前記被写体を照射する制御を行う制御手段と、を備えることを特徴とする。

本発明によれば、光源の種類に依存することなく、ハレーションの影響を効果的に抑制することができる。

第１の実施形態に係る撮像装置の構成例を示す図である。撮影部の構成例を示す図である。第１の実施形態の処理の流れを示すフローチャートである。ハレーションが発生しているかの判定処理の流れを示すフローチャートである。輝度の勾配および画素空間の一例を示す図である。第２の実施形態の処理の流れを示すフローチャートである。第３の実施形態に係る撮像装置の構成例を示す図である。

以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。

＜第１の実施形態＞
図１は、第１の実施形態に係る撮像装置１００の構成例を示す図である。撮像装置１００は、撮影部１０１、補助記憶装置１０２、照明部１０３、制御部１０４、データ通信部１０５および表示部１０６を有する。以下、撮像装置１００は、公道監視を行うカメラに適用されるものとして説明する。撮像装置１００は、無人運用の公道監視カメラであってもよい。ただし、撮像装置１００は、公道監視以外の用途に用いられてもよい。また、撮像装置１００は、動画撮影を行うものとして説明するが、撮像装置１００は、静止画撮影を行ってもよい。撮像装置１００が公道監視を行うカメラに適用される場合、被写体としては、車の外観や車番（ナンバープレート）等が想定される。例えば、夜間等の照度（輝度）が低い環境下で、撮像装置１００が公道監視を行う場合、ハロゲン灯を光源とする車のヘッドライトにより、撮像装置１００が被写体を撮像することで得た画像にハレーションが発生することがある。画像に対してヘッドライトによるハレーションの影響があると、車の外観や車番等の視認性が低下し、画像から車の外観や車番等を判別することが難しくなる。以下、撮像装置１００は、赤外波長の照明光の照射量を制御することにより、画像に対するハレーションの発生を抑制する例について説明する。なお、撮像装置１００は、公道監視を行うカメラ以外の撮像装置に適用されてもよい。

図１では、撮像装置１００が、照明部１０３、制御部１０４および表示部１０６を有している例を示すが、照明部１０３、制御部１０４および表示部１０６は、撮像装置１００とは別途の装置として設けられてもよい。例えば、照明部１０３は、撮像装置１００と接続される外部の照明装置であってもよい。また、表示部１０６は、撮像装置１００のデータ通信部１０５と有線または無線で接続される外部の表示装置であってもよい。また、制御部１０４も、撮像装置１００とは別途の外部装置（例えば、パーソナルコンピュータ等）として設けられてもよい。この場合、制御部１０４の機能を有する外部装置（電子機器）は、撮像装置１００と通信を行い、実施形態の各種の制御を行う。

図２は、撮影部１０１の構成例を示す図である。撮影部１０１は、制御部１０４の制御により動作する。撮影部１０１は、ズームレンズ２０１、フォーカスレンズ２０２、絞りユニット２０３、光学フィルタ２０４、撮像素子２０５、ＡＧＣ２０６およびＡ／Ｄ変換機２０７を有する。また、撮影部１０１は、カメラ信号処理部２０８、カメラ信号送信部２０９、ズーム駆動部２１０、フォーカス駆動部２１１および撮像制御部２１２を有する。図２において、点線で示される矢印は光であることを示し、実線で示される矢印は信号線であることを示す。撮影部１０１には撮像対象からの入射光が入射し、撮影部１０１は、入射光をデジタル信号として出力する。撮像制御部２１２は、カメラ信号処理部２０８、ズーム駆動部２１０およびフォーカス駆動部２１１を制御する。

ズーム駆動部２１０は、ズームレンズ２０１を撮像光路上で前後に動かすことで、入射光に対して、光学的な拡大・縮小の制御を行う。フォーカス駆動部２１１は、フォーカスレンズ２０２を撮像光路上で前後に動かすことで、入射光に対する合焦制御を行う。ズームレンズ２０１とフォーカスレンズ２０２とを透過した光は、絞りユニット２０３によって露光量が調節される。絞りユニット２０３により露光量が調節された光は、光学フィルタ２０４を透過する。そして、光学フィルタ２０４を透過した光が撮像素子２０５で撮像される。本実施形態の光学フィルタ２０４は、可視光の波長域の光をカットする可視光カットフィルタであるものとして説明する。この場合、撮像素子２０５に入射する光は、赤外波長の光である。ただし、光学フィルタ２０４は、可視光カットフィルタには限定されない。例えば、光学フィルタ２０４は、全ての波長域の光を透過するダミーガラスであってもよい。また、光学フィルタ２０４は、撮像光路に対して挿抜可能であってもよい。この場合、所定の挿抜機構が、撮像光路に対する光学フィルタ２０４の挿抜制御を行う。例えば、光学フィルタ２０４が赤外波長の光をカットするＩＲカットフィルタであってもよく、この場合、挿抜機構は、撮像光路から光学フィルタ２０４としてのＩＲカットフィルタを抜去する。

撮像素子２０５で撮像された光は、アナログ信号に変換されて、ＡＧＣ（オートゲインコントロール）２０６によって電気的に増幅処理がされる。Ａ／Ｄ変換機２０７は、増幅処理がされたアナログ信号をデジタル信号に変換する。カメラ信号処理部２０８は、Ａ／Ｄ変換機２０７が出力したデジタル信号に対して、デモザイキング等の現像処理を施す。これにより、デジタル画像が形成される。カメラ信号送信部２０９は、形成されたデジタル画像を補助記憶装置１０２や外部の装置等に送信する。

補助記憶装置１０２には、上述したデジタル画像や撮影部１０１の内部の状態を表す各種評価値、制御部１０４からの命令等が記憶される。各種評価値は、ズームレンズ２０１、フォーカスレンズ２０２、絞りユニット２０３および光学フィルタ２０４の状態を表す。補助記憶装置１０２に記憶される情報は、制御部１０４のＲＡＭ１１２に記憶されてもよい。また、制御部１０４からの命令は、画質補正や被写体に対する検出処理等を含む。ここで画質補正は、輝度ヒストグラムの状態に応じてγカーブを変更する処理や推定ＥＶ値に応じて彩度を変更する処理等、被写体の画質を良好にするための画像補正処理である。γカーブを変更する処理としては、例えば、輝度ヒストグラムが所定の割合で低輝度側に偏っていた場合に、高輝度側にγカーブをシフトさせる処理を適用できる。推定ＥＶ値に応じて彩度を変更する処理としては、推定ＥＶ値が所定の値より低い場合に、彩度を落とす処理を適用できる。ＥＶ値は、明るさの指標となる値に対応する。一方、検出処理は、少なくともハレーション現象を検出する処理である。照明部１０３は、撮影部１０１で撮像される撮影環境の明るさが低照度である場合（所定照度以下の場合）、または制御部１０４がハレーションを検出した場合、制御部１０４の制御により、照射光量を増加する。以下、照明部１０３は、赤外光を照射するものとして説明する。

図１に示される制御部１０４は、各種の制御を行う。制御部１０４は、ＣＰＵ１１１、ＲＡＭ１１２およびＲＯＭ１１３を有する。制御部１０４の機能は、ＲＯＭ１１１３に格納された制御プログラムがＲＡＭ１１２に展開され、ＲＡＭ１１２に展開された制御プログラムＣＰＵ１１１が実行することにより実現されてもよい。本実施形態では、制御部１０４は、補助記憶装置１０２に一時記憶された画像データを参照してハレーションを検出した場合に、照明部１０３の照射光量を制御する。また、制御部１０４は、撮影部１０１の状態および補助記憶装置１０２に一時記憶された画像データを評価して、撮影環境のＥＶ値を推定し、推定結果に応じて、撮影部１０１の露光量を制御する。また、制御部１０４は、補助記憶装置１０２に一時記憶された画像に対して画質補正を施す。データ通信部１０５は、補助記憶装置１０２が出力した画像データを入力として、入力された画像データを表示部１０６に送信する。例えば、表示部１０６が、撮像装置１００に内蔵されておらず、撮像装置１００の外部に設置された装置である場合、データ通信部１０５は、補助記憶装置１０２と表示部１０６との間で、有線または無線により通信を行う。表示部１０６は、データ通信部１０５から出力された画像データを入力として、画像データを表示する。これにより、表示部１０６は、ユーザに被写体の画像を提示することができる。表示部１０６に入力された画像データが制御部１０４により圧縮されたデータである場合には、表示部１０６は、表示前に画像データに対して解凍処理を施す。

次に、図３のフローチャートを参照して、本実施形態の処理の流れについて説明する。本実施形態では、照明部１０３が赤外光を照射することによって、撮影環境の照度を高める。上述したように、撮像装置１００が、公道監視のために被写体を撮像する場合、車の運転者に対して視覚的に負荷を与えないため、照明部１０３は、赤外光として、例えば、近赤外波長の光を照射する。最初に、撮像光路上に光学フィルタ２０４として可視光カットフィルタが設置される（Ｓ３０１）。例えば、撮像装置１００が可視光カットフィルタの挿抜機構を有している場合、当該挿抜機構が、光学フィルタ２０４としての可視光カットフィルタを撮像光路上に挿入する。可視光カットフィルタは、任意の手法により撮像光路上に設置されてよい。可視光カットフィルタが撮像光路上に設置されることで、撮像素子２０５に入射する光は、赤外波長の光になる。これにより、ハレーションが発生したとしても、ハレーションによる画像データへの影響度が低減される。

制御部１０４は、ハレーションが発生していない撮影環境において、撮影環境を良好な明るさで撮像可能となる十分な光量を、第１の光量として照明部１０３に設定して、照明部１０３に照射させる（Ｓ３０２）。撮影部１０１は、制御部１０４の制御により、所定の測光方式によって、撮影シーンを測光する（Ｓ３０３）。測光方式は、ユーザが任意に設定することができる。撮影部１０１は、適正露出となる第１のシャッタースピードを設定する（Ｓ３０４）。制御部１０４は、後述のハレーションの強度を評価するために、ハレーションが発生していないシーンにおける露光量の状態および取得された画像データの輝度情報に基づいて、撮影環境のＥＶ値を推定し、補助記憶装置１０２に記憶する（Ｓ３０５）。なお、本実施形態では、ＡＰＥＸ（ＡＤＤＩＴＩＶＥＳＹＳＴＥＭＯＦＰＨＯＴＯＧＲＡＰＨＩＣＥＸＰＯＳＵＲＥ）システムに基づいて露出や輝度（照度）の明るさを定義する。例えば、露出に関する１ＥＶと２ＥＶとの差は、ＡＰＥＸシステムにおける露出の１段分の明るさの違いに相当する。そして、制御部１０４は、ハレーションが発生しているかを判定する（Ｓ３０６）。Ｓ３０６でＹｅｓと判定された場合、ハレーションが検出される。Ｓ３０６でＮｏと判定された場合、ハレーションは検出されない。

ハレーションが発生しているかの判定処理（Ｓ３０６の処理）について、図４のフローチャートを参照して、説明する。制御部１０４は、推定ＥＶ値が所定の閾値以上であるかを判定する（Ｓ４０１）。所定の閾値は、任意に設定されてよい。例えば、所定の閾値は、経験則から予め設定される値であってもよい。また、所定の閾値は、前回に取得された画像データにおける推定ＥＶ値からの変化量についての値であってもよい。例えば、一定の推定ＥＶ値が連続した場合、制御部１０４は、所定の閾値に、一定の推定ＥＶ値を設定してもよい。

Ｓ４０１でＹｅｓと判定された場合、制御部１０４は、取得された画像データに、第１の輝度閾値以上の輝度が存在するかを判定する（Ｓ４０２）。第１の輝度閾値は、白とび等の高輝度な領域をフィルタリングするための閾値である。第１の輝度閾値は、任意の値に設定されてよい。例えば、第１の輝度閾値は、経験則から得られる任意の値であってよい。

Ｓ４０２でＹｅｓと判定された場合、画像データに高輝度領域（第１の輝度領域）が存在するため、ハレーションが発生している可能性がある。この場合、制御部１０４は、第１の輝度領域の周囲に、第２の輝度領域が分布しているかを判定する（Ｓ４０３）。第２の輝度領域は、第１の輝度閾値より低い第２の輝度閾値以上の輝度の領域である。第２の輝度閾値以上の輝度は、ハレーション現象における高輝度領域の周囲に撮像される、撮像素子２０５での電荷漏れに起因する輝度であることを示す。つまり、第２の輝度閾値は、ハレーションによる電荷漏れを示す輝度である。第２の輝度分布の輝度は、第１の輝度分布の輝度より低い。画像データに、第１の輝度領域に隣接する形で第２の輝度領域が分布している場合、Ｓ４０３でＹｅｓと判定される。Ｓ４０３でＹｅｓと判定された場合、ハレーションが発生している可能性が高いため、制御部１０４は、ハレーションが発生していると判定する（Ｓ４０４）。

一方、Ｓ４０１、Ｓ４０２またはＳ４０３の何れかでＮｏと判定された場合、ハレーションが発生している可能性は低い。この場合、制御部１０４は、ハレーションが発生していないと判定する（Ｓ４０５）。以上により、画像データの輝度情報に基づいて、ハレーションが発生しているかが判定される。

図５は、輝度の勾配および画素空間の一例を示す図である。図５（Ａ）は、図５（Ｂ）における勾配抽出行の輝度の勾配を示す。図５（Ｂ）は、画像データの画素空間を示す。図５（Ａ）に示されるように、輝度の勾配の中心付近における輝度は、第１の輝度閾値以上である。よって、Ｓ４０２でＹｅｓと判定される。また、図５（Ｂ）に示されるように、第１の輝度領域の近傍に第２の輝度領域が分布している。よって、Ｓ４０３でＹｅｓと判定される。従って、推定ＥＶ値が所定の閾値以上であれば、制御部１０４は、ハレーションが発生していると判定する。

上述したハレーションが発生したかの判定処理により、ハレーションが発生したと判定された場合、図３のＳ３０６でＹｅｓと判定される。この場合、制御部１０４は、補助記憶装置１０２に一時記憶された１つ前の画像データ（１つ前のフレーム）を参照する。そして、制御部１０４は、時間的に異なる１つ前のフレームと、現在のフレーム（取得された画像データ）とを比較することで、動き領域を検出する（Ｓ３０７）。そして、制御部１０４は、ハレーションの強度を評価する（Ｓ３０８）。Ｓ３０８およびＳ３０９の処理は、ハレーションを抑制するために充分な照射光量（第２の光量）を導出する処理である。本実施形態では、制御部１０４は、以下の数式（１）に示されるように、現在の推定ＥＶ値と過去に記憶した推定ＥＶ値との差分によって評価する。

以上の数式（１）において、「ｄ_ｅｖ」は差分である。「ｅｖ」は、現在の推定ＥＶ値である。「ｅｖ_ｐｒｅ」は、過去の推定ＥＶ値である。差分「ｄ_ｅｖ」は、ハレーションの強度を評価する指標である。ハレーションの強度は、上記の手法以外の手法により評価されてもよい。例えば、図５における第１の輝度領域と第２の輝度領域との面積比により、ハレーションの強度が評価されてもよい。

制御部１０４は、評価されたハレーションの強度に応じた、ハレーションを抑制するための第２の光量を、以下の数式（２）から導出する（Ｓ３０９）。

以上の数式（２）において、「ｌ_２」は、ハレーションを抑制するための第２の光量である。「m_hal」は、ハレーションの判定結果を意味するマスクパラメータであり、０または１の値を取る。「ａ」は、撮影シーンに応じて調節される調節パラメータで、０以上の値を取る。「ｄ_ｅｖ」は、上述した評価されたハレーションの強度の値である。「ｌ_ｍａｘ」は、照明部１０３の最大許容照射光量である。「ｌ_ｄｅｆ」は、ハレーションの判定がされていないときの照明部１０３の照射光量であり、第１の光量に対応する。制御部１０４は、照明部１０３に上述した第２の光量「ｌ_２」を設定し、照明部１０３に当該第２の光量「ｌ_２」の赤外光を照射させる（Ｓ３１０）。上述した数式（２）により得られる第２の光量は、第１の光量よりも大きい。従って、ハレーションが発生したと判定された場合、照明部１０３からの照射光量は増加する。

撮影部１０１の撮像制御部２１２は、照明部１０３からの光の照射に連動して、露出調整を行う。撮像制御部２１２は、測光する領域をＳ３０７で検出された動き領域に限定して、被写体に露出が合うように測光する制御を行う（Ｓ３１１）。また、撮像制御部２１２は、シャッタースピードを制御して、動き被写体が適正露出となるための第２のシャッタースピードを設定する（Ｓ３１２）。以上の処理でハレーションを抑制した画像データが取得される。Ｓ３０６でＹｅｓと判定された場合、Ｓ３０７～Ｓ３１２の処理が行われることで、照明部１０３からの照射光量は増加する。一方、Ｓ３０６でＮｏと判定された場合、ハレーションが発生していないと判定されるため、Ｓ３０７～Ｓ３１２の処理は行われない。なお、上述したように、Ｓ３１１において、動き領域に限定して、被写体に露出が合うように測光する制御が行われるが、動き領域が検出されなくなった場合、所定の測光方式に自動的に設定されてもよい。所定の測光方式は、中央重点と全体平均とスポット測光との何れかであってよい。また、ユーザは、これらの測光方式から任意の測光方式を設定することができる。

制御部１０４は、Ｓ３１２の処理の後、またはＳ３０６でＮｏと判定された場合、画像データに対して、画質を向上させる補正を施す（Ｓ３１３）。これにより、１フレームの画像データの処理が終了する。データ通信部１０５は、補助記憶装置１０２に一時記憶された画像データ（現在フレーム）を取得し、表示部１０６に送信する（Ｓ３１４）。表示部１０６は、現在フレームを表示する（Ｓ３１５）。これにより、現在フレームをユーザに提示することができる。

例えば、撮像装置１００が被写体を撮像することで得た画像に、ハロゲン灯を光源とする車のヘッドライトが映り込むと、ハロゲン灯は、ＬＥＤとは異なり、赤外波長の光を多く含むため、画像データにハレーションによる影響が生じる。画像データにハレーションによる影響が生じていると、ハレーションが発生しているヘッドライトの領域ではなく、車の外観や車番等の領域の視認性が低下する。これにより、ユーザは、表示部１０６に表示された画像データから車の外観や車番等を判別することが難しくなる。そこで、制御部１０４は、Ｓ３０６でハレーションが発生していると判定した場合には、照明部１０３が照射する赤外光の光量を、第１の光量から第２の光量に増加させる。これにより、撮像装置１００が、大きな光量の赤外波長の光を受光したことに起因してハレーションが発生したとしても、照明部１０３が照射する赤外光の光量が増加するため、ハレーションの影響を抑制することができる。従って、画像データを取得する際にハレーションによる影響が生じていたとしても、表示部１０６に表示される画像データの車の外観や車番等の視認性が向上する。以上により、光源の種類に依存することなく、画像に発生したハレーションの影響を抑制することができるができる。また、Ｓ３０６においてハレーションの発生が検出されない場合、赤外光の光量は増加しない。これにより、常に光量の大きい赤外光を照射している場合と比較して、赤外光の照射のために消費される電力を低減させることができる。

ここで、ハレーションが発生しているときには画像データの輝度が高くなるが、ハレーションが発生しているときとハレーションが発生していないときとで、画像データの全体または一部の平均輝度は同等になる可能性もある。第１の実施形態では、制御部１０４は、単に平均輝度に基づいて照明部１０３による赤外光の照射光量を増加させているのではなく、Ｓ３０６でＹｅｓと判定された場合に、赤外光の照射光量を増加させている。つまり、制御部１０４は、図４のＳ４０３でＹｅｓと判定された場合に、赤外光の照射光量を増加させている。この点は、以下の第２の実施形態および第３の実施形態も同様である。

＜第２の実施形態＞
次に、第２の実施形態について説明する。第２の実施形態の撮像装置１００の構成は、第１の実施形態と同様である。第２の実施形態の撮像装置１００の制御部１０４は、所定の被写体を検出する機能を有する。制御部１０４は、画像データから所定の被写体を検出し、検出された被写体の領域に枠を設定する等の強調処理を施す。制御部１０４は、所定の被写体の領域に強調領域が施された画像データを、表示部１０６に表示させる。これにより、ユーザに対して、被写体の視認性の高い画像を提示することができる。例えば、撮像装置１００が、公道監視に適用される場合、所定の被写体は、車の外観や車番、人体、顔等であることが想定される。所定の被写体としては、動き被写体であることが想定されるが、静止している被写体であってもよい。車のヘッドライト等により、撮像装置１００が撮像した画像データにハレーションの影響が生じている場合、所定の被写体の視認性が低下する。第２の実施形態の撮像装置１００は、画像データに含まれる所定の被写体を検出し、所定の被写体の領域を強調表示させる制御を行う。これにより、ユーザの利便性が向上する。

図６は、第２の実施形態の処理の流れを示すフローチャートである。Ｓ６０１からＳ６１２までは、第１の実施形態と同様であるため、説明を省略する。制御部１０４は、補助記憶装置１０２に一時記憶された１つ前の画像データ（１つ前のフレーム）を参照する。そして、制御部１０４は、時間的に異なる１つ前のフレームと、現在のフレーム（取得された画像データ）とを比較することで、動きベクトルを検出する（Ｓ６１３）。動きベクトルの検出手法には、任意の手法を適用できる。例えば、動きベクトルの検出手法として、オプティカルフローやブロックマッチング等を適用できる。これらの動きベクトルの検出手法を適用した場合、制御部１０４は、画像データを小領域ごとに分割して、画像データ間で同じ画素値を有する小領域を探索し、小領域を対応付けて、小領域間の距離と方向とを検出する。

制御部１０４は、Ｓ６１３で得られた動きベクトルから、動きベクトルの大きさを動き被写体の撮像におけるブレ量と仮定して、動きベクトルの大きさに応じて、動きブレを抑制する第３のシャッタースピードを導出する。そして、制御部１０４は、導出された第３のシャッタースピードを設定する（Ｓ６１４）。第３のシャッタースピードは、以下の数式（３）により導出することができる。

以上の数式（３）において、「Ｓ_３」は第３のシャッタースピードである。「ｆ_ｒ」は、第３のシャッタースピードを導出するときのフレームレートである。「ｖ」は、検出された動きベクトルである。「ｎ」は、許容パラメータである。

制御部１０４は、Ｓ６１４でシャッタースピードを制御したことに起因して変化した露光量に対して、照明部１０３からの照射光量（第３の光量）を導出する。Ｓ６１４でシャッタースピードが第３のシャッタースピードに設定されたことで、露光量が低下する。第３の光量は、動き領域が再び適正露出となるような光量である。そして、制御部１０４は、導出された第３の光量を照明部１０３の照射光量に設定し、照明部１０３から第３の光量で赤外光を照射させる制御を行う（Ｓ６１５）。第３の光量の導出は、以下の数式（４）により行われる。

以上の数式（４）において、「ｌ_３」は、シャッタースピードが高速になったことで暗くなった動き被写体を適正露出にするための第３の照射光量である。「m_hal」は、ハレーションの判定結果を意味するマスクパラメータであり、０または１の値を取る。「ｒ」は、被写体の反射率を考慮した調整パラメータで、０以上の値を取る。「ｄ_ｅｖ」は、露光量が変化したことによる露光量の差分である。「ｌ_ｐｒｅ」は、直前の照射光量である。許容パラメータ「ｎ」は、撮影シーンに応じて好適に設定された値であってもよいし、シーンに依存せず設定されたプリセット値であってもよい。「ｌ_ｐｒｅ」は、ハレーションが発生した画像データであれば、第２の光量であり、ハレーションが発生してない画像データであれば、第１の光量である。

制御部１０４は、所定の被写体の検出精度をより高めるための好適な画質補正を画像データに施す（Ｓ６１６）。制御部１０４は、Ｓ６１６にて画質補正が施された画像データから所定の被写体を検出する（Ｓ６１７）。制御部１０４は、現在の画像データに検出データを追加して、補助記憶装置１０２からデータ通信部１０５を介して表示部１０６に送信する制御を行う（Ｓ６１８）。検出データ（以下、ラベルデータとする）は、検出対象の撮像領域、および検出対象が何であるか（検出対象の種別）を表すデータである。例えば、検出対象の被写体が車番である場合には、車番を表すラベルデータが検出データとして画像データに追加される。制御部１０４は、表示部１０６が画像データを表示する際に、検出対象の撮像領域の枠を表示させる制御を行うとともに、ラベルデータも表示させる制御を行う。これにより、表示部１０６には、画像の中の検出対象である所定の被写体の領域に枠が表示されることで、検出された所定の被写体が強調表示される。また、表示部１０６には、検出された所定の被写体が何であるかを表すデータが表示される。これにより、ユーザは、より良好に、画像データの被写体を視認することができる。

＜第３の実施形態＞
次に、第３の実施形態について説明する。図７は、第３の実施形態に係る撮像装置１００の構成例を示す図である。図７の撮像装置７００は、図１の撮像装置１００に対して、新たに外部記憶装置７０７、タイマ７０８および操作部７０９を有する。撮像装置７００におけるその他の構成は、図１と同様であるため、説明を省略する。制御部７０４は、第２の実施形態で説明した所定の被写体を検出する機能を有する。また、制御部７０４は、検出された被写体が何であるかを表すラベルデータの他に、被写体を検出した時刻を示す時刻情報をラベルデータに対応付けて外部記憶装置７０７に記憶させる。

例えば、撮像装置７００が公道監視に用いられた場合、検問等にも撮像装置７００が得た画像データが利用され得る。この場合、撮像装置７００は、被写体を撮像することで得た画像データを、外部記憶装置７０７に記憶させる制御を行う。これにより、外部記憶装置７０７から画像データを検索することもでき、画像データの解析を行うこともできるため、ユーザの利便性が向上する。ここで、外部記憶装置７０７に記憶された画像データの解析が行われる場合、外部記憶装置７０７に記憶された全てのデータを用いなくてもよい場合がある。画像データの解析に必要となるデータは、検出された被写体が映っている画像データや検出された被写体のラベルデータ、画像データが検出された時刻情報等である場合がある。

そこで、制御部７０４は、図６のＳ６１７で被写体を検出した際に、データ通信部７０５を介してタイマ７０８にアクセスする。タイマ７０８からは、現在時刻の情報が得られる。制御部７０４は、タイマ７０８から取得した現在時刻（被写体が撮像された時刻）を、撮像により得られた画像データおよびラベルデータに対応付けて、外部記憶装置７０７に記憶させる。これにより、外部記憶装置７０７には、画像データとラベルデータと時刻情報とが対応付けて記憶される。撮像装置７００は、操作部７０９を有している。ユーザは、操作部７０９を操作して、外部記憶装置７０７に記憶された各画像データから画像データを検索する際に、時刻情報を指定して検索を行うことができる。これにより、ユーザは、所望の画像データを容易に検索することができる。

検索された画像データ（所定の被写体に関する画像データ）は、表示部７０６に表示される。また、ユーザは、操作部７０９を操作して、データ通信部７０５に命令を送信することができる。データ通信部７０５は、受信した命令を制御部７０４に入力する。これにより、撮影部７０１および照明部７０３を逐次的に制御することが可能になる。そのため、ユーザにとって、より好適な条件での撮像が可能となる。第３の実施形態では、画像データとラベルデータと時刻情報とが対応付けられて外部記憶装置７０７に記憶される例について説明したが、外部記憶装置７０７には、画像データと時刻情報とが対応付けられて記憶されてもよい。

以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００撮像装置
１０１撮影部
１０３照明部
１０４制御部
１０６表示部
２０４光学フィルタ
２０５撮像素子
７０８タイマ
７０９操作部

Claims

赤外波長の光を含む入射光を受光する撮像素子と、
前記撮像素子から得られる画像データの輝度情報に基づいて、当該画像データに生じるハレーションを検出する検出手段と、
前記検出手段によって検出されたハレーションの強度を評価する評価手段と、
前記評価手段によって評価されたハレーションの強度に基づいて、被写体に照射する赤外光の照射光量を増加させるように前記照射光量を算出し、その算出された前記照射光量で前記被写体を照射する制御を行う制御手段と、
を備えることを特徴とする撮像装置。
前記入射光は、可視光カットフィルタにより可視光がカットされた光であることを特徴とする請求項１に記載の撮像装置。
前記制御手段は、前記画像データに第１の輝度閾値以上の第１の輝度領域があり、且つ前記第１の輝度閾値より低い第２の輝度閾値より高い第２の輝度領域が前記第１の輝度領域の周囲にある場合を、前記ハレーションが発生している状態として検出する、
ことを特徴とする請求項１または２に記載の撮像装置。
前記第２の輝度閾値は、ハレーションによる電荷漏れに対応する輝度領域を判定する為の閾値であることを特徴とする請求項３記載の撮像装置。
前記制御手段は、前記画像データに基づいて、動き領域を検出し、検出された前記動き領域に対して測光を行うように制御する、
ことを特徴とする請求項１乃至４のうち何れか１項に記載の撮像装置。
前記制御手段は、前記ハレーションを検出した際に、前記動き領域に露出が合うような第２のシャッタースピードに設定する制御を行うことを特徴とする請求項５に記載の撮像装置。
前記制御手段は、前記赤外光の照射光量を増加させた際に取得された画像データに対して、輝度ヒストグラムの状態に応じてγカーブを変更する処理または明るさの指標となる値に応じて彩度を変更する処理を行うことを特徴とする請求項１乃至６のうち何れか１項に記載の撮像装置。
前記制御手段は、前記画像データに基づいて動きベクトルを検出し、検出された前記動きベクトルの大きさに応じた第３のシャッタースピードに変更し、前記動き領域に露出が合うように赤外光の照射光量を制御することを特徴とする請求項６に記載の撮像装置。
前記制御手段は、前記画像データから所定の被写体を検出し、検出された前記所定の被写体に対して強調処理を施すことを特徴とする請求項１乃至８のうち何れか１項に記載の撮像装置。
前記制御手段は、前記所定の被写体の領域に対して枠を表示させる処理を前記強調処理として施すことを特徴とする請求項９に記載の撮像装置。
前記制御手段は、検出された前記所定の被写体の種別を表す検出データを前記画像データに追加し、前記画像データとともに前記検出データを表示させる制御を行うことを特徴とする請求項９または１０に記載の撮像装置。
前記制御手段は、前記所定の被写体を検出した時刻情報を前記画像データに対応付けて記憶手段に記憶させる制御を行うことを特徴とする請求項９乃至１１のうち何れか１項に記載の撮像装置。
前記評価手段は、前記ハレーションが検出された際の露出に関するパラメータと記憶手段に記憶された露出に関するパラメータと差分に基づいて、前記ハレーションの強度を評価することを特徴とする請求項１に記載の撮像装置。
前記評価手段は、前記第１の輝度領域と前記第２の輝度領域との面積比に基づいて、前記ハレーションの強度を評価することを特徴とする請求項３に記載の撮像装置。
赤外波長の光を含む入射光を受光する撮像素子を有する撮像装置と通信を行う電子機器であって、
前記撮像素子から得られる画像データの輝度情報に基づいて、当該画像データに生じるハレーションを検出する検出手段と、
前記検出手段によって検出されたハレーションの強度を評価する評価手段と、
前記評価手段によって評価されたハレーションの強度に基づいて、被写体に照射する赤外光の照射光量を増加させるように前記照射光量を算出し、その算出された前記照射光量で前記被写体を照射する制御を行う制御手段と、
を備えることを特徴とする電子機器。
赤外波長の光を含む入射光を受光する撮像素子を有する撮像装置の制御方法であって、前記撮像素子から得られる画像データの輝度情報に基づいて、当該画像データに生じるハレーションを検出する検出工程と、
前記検出工程で検出されたハレーションの強度を評価する評価工程と、
前記評価工程で評価されたハレーションの強度に基づいて、被写体に照射する赤外光の照射光量を増加させるように前記照射光量を算出し、その算出された前記照射光量で前記被写体を照射する制御を行う制御工程と、
を備えることを特徴とする撮像装置の制御方法。
請求項１６記載の撮像装置の制御方法をコンピュータに実行させるためのコンピュータが読み取り可能なプログラム。