JPWO2012073657A1 - 画像処理装置、撮影装置、画像処理方法及びホワイトバランス調整方法 - Google Patents

Abstract

本発明の一態様に係る画像処理方法は、連続的に撮像して得られた撮像画像を取得し、前記撮像画像を複数の分割領域に分割し、前記分割領域ごとに、点滅するフリッカを検出し、前記フリッカが検出された分割領域ごとに、点灯状態での輝度と滅灯状態での輝度との輝度差に基づいて、前記分割領域が発光ダイオード（ＬＥＤ）の光を含むＬＥＤ領域であるか否かを検出し、ＬＥＤ領域情報を出力する。

Description

本発明は、点滅するＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）の光を含む被写体を撮像した場合に、そのＬＥＤ光を含むＬＥＤ領域を精度よく検出することができる画像処理装置、撮影装置、画像処理方法及びホワイトバランス調整方法に関する。

イルミネーションなどに使用される単色発光ダイオードは、照明用の一般の光源と比べ、分光特性やフリッカ（周期的な点滅）などの点において差異があり、カメラのホワイトバランス機能に大きな影響を与えるものがある。

特許文献１には、複数の光源に照らされている被写体、物体色が存在する被写体において、光源を正確に検出することができるようにした構成が開示されている。

特許文献２には、ＬＥＤ照明を使用したときに、発光ダイオードの固体差や経年劣化による色温度変化を考慮してホワイトバランス補正を行えるようにした構成が開示されている。

特開２０１０−１３０４６８号公報 特開２００９−１１８００１号公報

イルミネーション用等の単色ＬＥＤを直視するようなシーンの場合、高輝度の情報が人間の目に入るため、残像効果が大きく働く。即ち、環境光として利用する場合に比べ、フリッカが目立たなくなる。このような事情により、コスト削減や設置容易性のためにフリッカの発生を除去しない単色ＬＥＤ装置が使用されている場合が多い。

このようなフリッカを発生する単色ＬＥＤ装置としては、ＬＥＤ信号機、イルミネーション、電光掲示板などが挙げられる。

特許文献１に記載の構成では、被写体の中から光源色推定エリアとその距離を算出しているが、物体色から明確に単色ＬＥＤの影響を除外できない可能性がある。

特許文献２に記載の構成では、ＬＥＤを照明としていることを前提としているので、照明光でないＬＥＤがある場合に適切なホワイトバランス補正を行えない場合がある。

本発明はこのような事情に鑑みてなされたもので、点滅するＬＥＤの光を含む被写体を撮像した場合に、そのＬＥＤ光を含むＬＥＤ領域を精度よく検出することができる画像処理装置、撮影装置、画像処理方法及びホワイトバランス調整方法を提供することを目的とする。

前記目的を達成するために、本発明の一態様に係る画像処理装置は、連続的に撮像して得られた撮像画像を取得する画像取得手段と、前記撮像画像を複数の分割領域に分割し、前記分割領域ごとに、点滅するフリッカを検出するフリッカ検出手段と、前記フリッカが検出された分割領域ごとに、前記分割領域の点灯状態での輝度と滅灯状態での輝度との輝度差に基づいて、前記分割領域がＬＥＤの光を含むＬＥＤ領域であるか否かを検出し、前記撮像画像中の前記ＬＥＤ領域を示すＬＥＤ領域情報を出力する比較手段とを備える。即ち、点滅するＬＥＤの光を含む被写体を撮像した場合、撮像画像を分割した分割領域ごとにフリッカ（点滅）が検出されるとともに、各分割領域の点灯状態での輝度と滅灯状態での輝度との輝度差に基づいて撮像画像中のＬＥＤ領域が検出されるので、点滅するＬＥＤ光を含むＬＥＤ領域を精度よく検出することができる。

本発明の一態様に係る画像処理装置は、前記検出されたＬＥＤ領域情報に基づいてホワイトバランス調整値を演算するホワイトバランス演算手段と、前記演算されたホワイトバランス調整値に基づいて、前記撮像画像又は前記撮像画像に続いて撮像された画像のホワイトバランスを調整するホワイトバランス調整手段とを更に備えていてもよい。この場合、ＬＥＤ領域がある場合でも適切なホワイトバランス調整を行うことが可能である。

本発明の一態様に係る画像処理装置では、前記ホワイトバランス演算手段が、前記ＬＥＤ領域を物体色の影響が強い物体色領域であると判定するとともに、前記撮像画像のうち前記ＬＥＤ領域を除外した領域内の情報に基づいて、光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出するようにしてもよい。この場合、ＬＥＤ領域が光源色領域ではなく物体色領域として光源色判定の対象領域から除外されることで、環境光に応じた適切なホワイトバランス調整を行うことが可能になる。

本発明の一態様に係る画像処理装置では、前記ホワイトバランス演算手段が、前記撮像画像における前記ＬＥＤ領域の割合が閾値よりも大きい場合、前記ＬＥＤの分光特性、及び前記ＬＥＤ領域内の情報のうち少なくとも一方に基づいて光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出するようにしてもよい。この場合、ＬＥＤ領域の割合が大きい場合には、残りの非ＬＥＤ領域のみで光源色が判定されると、誤判別やハンチングを起こしてしまう等の問題があるが、ＬＥＤの分光特性及びＬＥＤ領域内の情報のうち少なくとも一方に基づいて光源色が判定されるので、適切なホワイトバランス調整を行うことができる。

本発明の一態様に係る画像処理装置では、前記ホワイトバランス演算手段が、前記ＬＥＤ領域の色と、前記撮像画像全体の色の平均、又は前記撮像画像のうち前記ＬＥＤ領域を除外した非ＬＥＤ領域の色の平均との差が閾値よりも大きい場合、前記ＬＥＤ領域の色とは異なる光源色を前記非ＬＥＤ領域内の情報から判定し、該光源色に基づいて前記ホワイトバランス調整値を算出するようにしてもよい。

本発明の一態様に係る画像処理装置では、前記ホワイトバランス演算手段が、前記滅灯状態のＬＥＤ領域の輝度が閾値以下である場合、前記撮像画像の全領域のうち前記ＬＥＤ領域を除外した領域内の情報に基づいて、前記光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出するようにしてもよい。

本発明の一態様に係る画像処理装置では、前記ホワイトバランス演算手段が、前記ＬＥＤ領域の輝度と非ＬＥＤ領域の輝度との輝度差が閾値よりも小さい場合、前記ＬＥＤの分光特性、及び前記ＬＥＤ領域内の情報のうち少なくとも一方に基づいて光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出するようにしてもよい。

本発明の一態様に係る画像処理装置では、前記ホワイトバランス演算手段が、前記滅灯状態のＬＥＤ領域内の情報に基づいて、光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出するようにしてもよい。

本発明の一態様に係る画像処理装置では、前記ホワイトバランス演算手段が、前記検出されたＬＥＤ領域内の情報に基づいて、前記ホワイトバランス調整値の物体色に対する追従強度を調整するようにしてもよい。

本発明の一態様に係る画像処理装置では、前記ＬＥＤ領域情報を前記撮像画像に関連付けて記録媒体に記録するようにしてもよい。

また、本発明の一態様に係る撮影装置は、前記画像処理装置と、被写体を連続的に撮像可能な撮像手段とを備える。

本発明の一態様に係る撮影装置では、前記検出されたＬＥＤ領域情報に基づいて、露出量を算出し、前記撮像手段により前記露出量に応じた撮像を行うようにしてもよい。

本発明によれば、点滅するＬＥＤの光を含む被写体を撮像した場合に、そのＬＥＤ光を含むＬＥＤ領域を精度よく検出することができる。

第１実施形態における撮影装置の全体構成を示すブロック図 第１実施形態におけるＬＥＤ検出処理例を示すフローチャート 第２実施形態における撮影装置の全体構成を示すブロック図 撮影処理例を示す概略フローチャート 第２実施形態におけるホワイトバランス演算処理例を示すフローチャート 第３実施形態における撮影装置の全体構成を示すブロック図 第３実施形態におけるホワイトバランス演算処理例を示すフローチャート 撮像画像の全体領域α、ＬＥＤ領域β、非ＬＥＤ領域γの説明に用いる説明図 第４実施形態におけるホワイトバランス演算処理例を示すフローチャート

以下、添付図面に従って、本発明の実施形態について、詳細に説明する。

＜第１実施形態＞
図１は、第１実施形態における撮影装置１０の全体構成を示すブロック図である。

撮影装置１０は、被写体を撮像する撮像部１１と、表示を行う表示部３５と、フリッカ検出処理、ＬＥＤ検出処理などの各種演算及び処理を実行する演算・処理部５０とを含んでいる。

撮像部１１は、後述の撮像素子１４に被写体像を結像する撮影光学ユニット１２と、被写体を撮像する撮像素子１４と、撮像素子１４から出力されたアナログの撮像信号に対し増幅等の信号処理を施すアナログ信号処理部１６と、アナログの撮像信号（撮像画像）をデジタルの撮像信号に変換するＡＤ変換器１８と、デジタルの撮像信号に対して各種のデジタル信号処理を施すデジタル信号処理部２０とを含んでいる。撮像部１１から出力されたデジタルの撮像信号は、デジタルデータの撮像画像として、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｒｓｓ Ｍｅｍｏｒｙ）２６に一時的に記憶される。撮影光学ユニット１２は、フォーカスレンズ、ズームレンズ、アイリス（絞り）等の光学デバイスを含んでいる。撮像素子１４は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像センサ又はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）撮像センサ等によって構成される。アナログ信号処理部１６、ＡＤ変換器１８、デジタル信号処理部２０は、公知の回路によって構成される。

表示部３５は、撮像画像を再生するための画像処理を行う画像再生処理部３６と、撮像画像データを表示デバイス４０に表示するための符号化を行うエンコーダ３８と、撮像画像などの表示を行う表示デバイス４０とを含んでいる。画像再生処理部３６及びエンコーダ３８は、公知のマイクロプロセッサ及び回路によって構成される。表示デバイス４０は、例えば、ＬＣＤ（液晶表示デバイス）によって構成される。

ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２４は、画像を一時的に記憶するメモリである。メモリインタフェース（メモリＩ／Ｆ）３０は、ＲＡＭ２６及びＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）２８とのインタフェースを行う回路である。外部メモリインタフェース（外部メモリＩ／Ｆ）３４は、メモリカード３２とのインタフェースを行う回路である。

演算・処理部５０は、シャッタスピード（露出時間）などの各種の撮影条件を撮像部１１に設定する撮影条件設定部５１と、撮像画像を取得する画像取得部５２と、撮像画像を複数の分割領域に分割し、分割領域ごとに、周期的に点滅するフリッカを検出するフリッカ検出部５３と、フリッカが検出された分割領域ごとに、分割領域の点灯状態での輝度と滅灯状態での輝度とを比較し、点滅状態と滅灯状態との輝度差に基づいて各分割領域がＬＥＤの光を含むＬＥＤ領域であるか否かを判別する比較演算部５４と、撮影装置１０の各部を統括して制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５５を含んでいる。演算・処理部５０は、マイクロプロセッサ及び回路によって構成されている。撮影条件設定部５１は、ユーザの指示入力を受け付ける操作デバイスを含んでいる。なお、撮影条件設定部５１は、不揮発性メモリ（不図示）にあらかじめ記憶された撮影条件を読み出して撮影条件を設定するようにしてもよい。

次に、フリッカを発生する単色ＬＥＤの輝度差について説明する。

白熱灯電球や蛍光灯では、交流の電圧周期に対する輝度応答が遅いため、電圧の周期的な最大／最小の変動に対して、輝度の変動が対応せず、最高輝度と最低輝度との差が小さくなる。これに対し、ＬＥＤは素子の特性上、電圧の昇降に対する輝度応答スピードが、他の光源に比べて極めて速い。例えば、白熱灯電球は数百ｍｓ、蛍光灯は１ｓ前後、ＬＥＤは１０ｎｓである。例えば、自動車のブレーキランプでは、ＬＥＤの応答性の良さを利用して、後続車への危険通知を迅速に行えるようにしている。

また、ＬＥＤに用いる交流電源の周波数は遅くても５０Ｈｚであり、交流電源を利用したＬＥＤにおけるフリッカの１周期は２０ｍｓ以下である。

つまり、交流電源の周期に対して、ＬＥＤの輝度応答性が十分小さいため、電圧の最大値／最小値の変動に対し、輝度の最大値／最小値の変動が追従する。言い換えると、撮像画像のＬＥＤ領域における最高輝度と最低輝度との差分が、ＬＥＤの最低輝度（つまり０）と最高輝度との差分に対応する。

したがって、撮像画像中のＬＥＤ領域を精度良く検出するためには、次のような手順でＬＥＤ領域の検出を行う。

（手順１）交流電源（例えば、５０Ｈｚ、６０Ｈｚ）の周波数の２倍以上（シャッタスピードにして１／１００ｓ以下、１／１２０ｓ以下）にて被写体を連続的に撮影する。交流電源の１周期の１／２よりも小さなシャッタスピード（露出時間）が好ましい。このようなシャッタスピードは、撮影条件設定部５１により撮像部１１に設定される。

（手順２）判別する領域内の輝度の変動周期が交流電源の変動周期と略一致していれば、フリッカありと判断する。このようなフリッカ検出は、フリッカ検出部５３により行われる。ただし、両周期の一致の程度は高くなくてもよい。視覚効果のための通常の点滅（イルミネーション）では、残像効果によって人間の目は点滅と判断できないため、交流電源の変動周期のような速い点滅は存在しない。

（手順３）点滅の輝度差（点灯状態のＬＥＤ領域の輝度と滅灯状態のＬＥＤ領域の輝度との差）が大きければ、ＬＥＤ領域であると判定する。滅灯状態の輝度値がほぼゼロであることを検出して、ＬＥＤ領域であると判定してもよい。このようなＬＥＤ領域検出は、比較演算部５４により行われる。

なお、検出対象領域（画像の分割領域）の大きさによっては、その領域内のＬＥＤに相当する領域が小さい場合もある。このため、ＬＥＤ領域であると判定するための輝度又は輝度差の閾値は、ある程度許容範囲を持たせて、ＬＥＤ検出を行う。

図２は、ＬＥＤ検出処理を示すフローチャートである。本処理は、ＣＰＵ５５の制御により、プログラムに従って実行される。以下では、図２を用いて、撮像画像から周期的に点滅するＬＥＤ領域を検出するＬＥＤ検出処理について説明する。なお、本例では、撮像部１１から出力された撮像画像は、ＲＡＭ２６に格納されているものとする。

まず、画像取得部５２により、ＲＡＭ２６（画像バッファ）から連続的に撮像された撮像画像を取得する（ステップＳ２）。

次に、フリッカ検出部５３により、撮像画像を二次元配列の複数個（ｎ個）の分割領域に分割する（ステップＳ４）。

分割領域数ｎにてループ処理（ステップＳ６〜Ｓ１８）を開始する。まず、注目する分割領域（以下「注目領域」という）を決定し（ステップＳ８）、注目領域に周期的な点滅（フリッカ）が存在する否かを判定する（ステップＳ１０）。例えば、交流電源の周波数（本例では５０Ｈｚ又は６０Ｈｚ）の整数倍（ただし２倍以上）で連続的に被写体を撮像した複数枚の撮像画像から、分割領域ごとに、各分割領域の時系列の輝度に基づいて、交流電源の周波数で点滅しているか否かを判定する。即ち、交流電源の１周期の１／２以下の露出時間（シャッタスピード）で連続的に被写体を撮像して、周期的な点滅を検出する。なお、点滅周期の検出精度は問わない。ほぼ周期的な点滅であることを検出するようにしてもよい。

周期的な点滅が検出された場合（ステップＳ１０でｙｅｓ）、比較演算部５４により、点滅の輝度差が大きいか否かを判定する（ステップＳ１２）。例えば、ＬＥＤの滅灯状態の輝度値は略ゼロであるから、点灯状態の輝度が閾値以上であり、かつ、滅灯状態の輝度値が略ゼロであると判定したとき、点滅の輝度差が大きいと判定してもよい。また、点滅が検出された注目領域の点灯状態（輝度が高いとき）の輝度と、その注目領域の滅灯状態（輝度が低いとき）の輝度との差分を算出し、点灯状態の輝度と滅灯状態の輝度との輝度差を閾値と比較することで、点滅の輝度差が大きいか否かを判定してもよい。点灯状態の輝度と滅灯状態の輝度との比を閾値と比較することで、点滅の輝度差が大きいか否かを判定してもよい。

ＣＰＵ５５は、点滅の輝度差が大きいと判定した場合、注目領域がＬＥＤ領域であると判定し、ＬＥＤ領域フラグを該当する分割領域と対応付けて、ＬＥＤ領域情報の一部としてＲＡＭ２６に記憶する（ステップＳ１４）。その一方で、ＣＰＵ５５は、輝度差が閾値以下である場合、注目領域がＬＥＤ領域以外の領域（非ＬＥＤ領域）であると判定し、非ＬＥＤ領域フラグを該当する分割領域と対応付けて、ＬＥＤ領域情報の一部としてＲＡＭ２６に記憶する（ステップＳ１６）。

ループ処理を終了すると（ステップＳ１８）、ＣＰＵ５５は、ＲＡＭ２６に一時記憶したＬＥＤ領域情報（ＬＥＤ領域フラグ及び非ＬＥＤ領域フラグを含む）を、撮像画像と関連付けて、外部メモリインタフェース３４により、メモリカード３２に記憶する（ステップＳ１９）。このＬＥＤ領域情報は、撮像画像中のＬＥＤ領域を示す。本例では、ＬＥＤ領域フラグ及び非ＬＥＤ領域フラグの配列により、撮像画像におけるＬＥＤ領域の位置を示す。ＬＥＤ領域情報に、各ＬＥＤ領域の色情報及び輝度情報を含ませるのが、より好ましい。

なお、ＬＥＤ検出結果を記憶媒体としてのメモリカード３２に出力する場合を例に説明したが、本発明はこのような場合に特に限定されない。ＬＥＤ検出結果の出力手段は、記憶媒体には特に限定されない。例えば、図示省略のネットワーク・インタフェースにより、外部の装置に対して、連続して撮像された撮像画像の各フレームと対応付けて送信出力するようにしてもよい。また、表示デバイス４０に撮像画像と対応付けて表示出力するようにしてもよい。

また、ＣＰＵ５５により、検出されたＬＥＤ領域情報に基づいて露出量を算出し、撮像部１１により露出量に応じた撮像を行うようにしてもよい。露出量は、撮像素子１４における電子シャッタのシャッタスピード（露出時間）、撮影光学ユニット１２のアイリス（絞り）の絞り量（開口量）などによって、ＣＰＵ５５の制御により調整される。

＜第２実施形態＞
図３は、第２実施形態における撮影装置１０の全体構成を示すブロック図である。なお、図１に示す第１実施形態における構成要素と同じものには、同じ符号を付してあり、その説明を省略する。

図３において、ホワイトバランス演算部５６は、比較演算部５４の比較結果に基づいて撮像画像の光源色を判定し、該光源色に基づいてホワイトバランス調整値を演算する。ホワイトバランス演算部５６は、具体的には、ＬＥＤ領域を物体色の影響が強い物体色領域であると判定するとともに、撮像画像のうちＬＥＤ領域を除外した領域内の情報に基づいて、光源色を判定する。

ＣＰＵ５５は、ホワイトバランス演算部５６により演算されたホワイトバランス調整値に基づいて、撮像画像のホワイトバランスを調整する。

図４は、撮影処理例を示す概略フローチャートである。本処理はＣＰＵ５５の制御により、プログラムに従って実行される。

まず、撮像部１１により、被写体を撮像する（ステップＳ１０１）。次に、演算・処理部５０のフリッカ検出部５３及び比較演算部５４により、撮像画像から周期的に点滅するＬＥＤ領域を検出する（ステップＳ１０２）。次に、演算・処理部５０のホワイトバランス演算部５６により、ＬＥＤ領域の検出結果（ＬＥＤ領域情報）に基づいてホワイトバランス調整値を演算する（ステップＳ１０３）。次に、演算・処理部５０のＣＰＵ５５により、ホワイトバランス調整値に従って撮像画像のホワイトバランスを調整する（Ｓ１０４）。次に、外部メモリインタフェース３４により、ホワイトバランスが調整された撮像画像をメモリカード３２に記録する（ステップＳ１０５）。

図５は、第２実施形態におけるホワイトバランス演算処理（図４のステップＳ１０３）の詳細を示すフローチャートである。本処理は、ホワイトバランス演算部５６により、プログラムに従って実行される。

まず、撮像画像の有効領域（被写体の領域）を、ホワイトバランス演算単位に、複数の分割領域に分割する（ステップＳ２２）。

次に、領域分割数でループ処理を開始し（ステップＳ２４）、比較演算部５４の比較結果に従って、注目した分割領域（以下「注目領域」という）がＬＥＤ領域であるか否かを判定する（ステップＳ２６）。

注目領域が非ＬＥＤ領域である場合には、注目領域の光源色評価値及び物体色評価値を算出し（ステップＳ２８）、算出した二つの評価値に基づいて注目領域は物体色の影響が弱いか否かを判定する（ステップＳ３０）。物体色の影響が弱いと判定した場合には、光源の影響が強いとして光源色推定処理を行い（ステップＳ３２）、物体色の影響が強いと判定した場合には、光源の影響が弱いとして光源色推定処理を行う（ステップＳ３４）。

ステップＳ２６にて、注目領域がＬＥＤ領域であると判定された場合には、その注目領域（即ちＬＥＤ領域）を物体色の影響が強い物体色領域と判定し、その注目領域（ＬＥＤ領域）を光源推定処理から除外する（ステップＳ３６）。

ステップＳ３８にて分割領域数だけループが終了すると、ステップＳ３２及びステップＳ３４の光源色推定結果に基づいて、ホワイトバランス補正値を算出する（ステップＳ４０）。即ち、撮像画像のうちＬＥＤ領域を除外した非ＬＥＤ領域の色情報に基づいて、光源色を判定し、その光源色に基づいてホワイトバランス補正値を算出する。

単色ＬＥＤ（分光特性の極大値がひとつの波長に対応するＬＥＤ）は、その特性から照明用途ではなく、直視されるものとして使用されることが多い。例としては、信号、イルミネーション、電光掲示板などである。このような単色ＬＥＤ自体は発光している光源であるが、照明用途の光源とは違い被写体として直接撮影することがあり、かつ通常の物体のように色情報を持っている。そこで、ホワイトバランス調整の観点からすると、本実施形態のように、単色ＬＥＤの色は光源色（例えば白色）としてではなく、物体色として光源判定から除外することが望ましい。即ち、ホワイトバランスの精度を向上させる。

＜第３実施形態＞
図６は、第３実施形態における撮影装置１０の全体構成を示すブロック図である。なお、図３に示す第２実施形態における構成要素と同じものには、同じ符号を付してあり、その説明を省略する。

図７は、第３実施形態におけるホワイトバランス演算処理（図４のステップＳ１０３）の詳細を示すフローチャートである。本処理は、ホワイトバランス演算部５６により、プログラムに従って実行される。

ステップＳ５２〜Ｓ６４は、第２実施形態における図５に示したステップＳ２２〜Ｓ３４と同様である。

ステップＳ５６にて注目領域がＬＥＤ領域であると判定された場合、ホワイトバランス演算部５６により、ＬＥＤ領域の条件に基づいた光源色推定処理を行う（ステップＳ６６）。

この光源色推定処理の態様には各種ある。

第１に、撮像画像の全領域におけるＬＥＤ領域の割合が閾値よりも大きい場合、ＬＥＤの分光特性、及び滅灯状態のＬＥＤ領域内の色情報のうち少なくとも一方に基づいて、光源色を判定し、その光源色に基づいてホワイトバランス調整値を算出する態様がある。つまり、ＬＥＤ領域の被写体全体に占める割合が一定以上である場合、残りの非ＬＥＤ領域のみで光源色判定を行うと誤判定やハンチングが発生するため、ＬＥＤの分光特性、又は滅灯状態のＬＥＤ領域内の色情報を用いて光源色を判定する。更に、割合が大きい場合には、装置の基準ホワイトバランスを適用する。

第２に、ＬＥＤ領域の色と、撮像画像全体の色の平均（又は撮像画像の全体領域のうちＬＥＤ領域を除外した非ＬＥＤ領域の色の平均）との差が閾値よりも大きい場合は、ＬＥＤ領域の色とは異なる光源色を非ＬＥＤ領域内の色情報から判定し、その光源色に基づいてホワイトバランス調整値を算出する態様がある。つまり、ＬＥＤ以外の光源が存在するとみなして、光源判定を行う。

第３に、滅灯状態のＬＥＤ領域の輝度が閾値以下である場合、撮像画像の全領域のうちＬＥＤ領域を除外した領域（非ＬＥＤ領域）内の色情報に基づいて、光源色を判定し、その光源色に基づいてホワイトバランス調整値を算出する態様がある。つまり、ＬＥＤ領域の輝度が小さい場合は、環境光がＬＥＤの光よりも強い可能性が高いため、光源色判定を行う。

第４に、ＬＥＤ領域の輝度と非ＬＥＤ領域の輝度との輝度差が閾値よりも小さい場合、ＬＥＤの分光特性、及びＬＥＤ領域内の色情報のうち少なくとも一方に基づいて光源色を判定し、その光源色に基づいてホワイトバランス調整値を算出する態様がある。つまり、ＬＥＤの発光量に近い反射光があるとみなして、光源色判定を行う。逆に、非ＬＥＤ領域との輝度差が閾値よりも大きい場合は、環境光がかなり弱いため、ホワイトバランスが必要ないと判断して、装置の基準ホワイトバランスを適用する。

第５に、滅灯状態のＬＥＤ領域内の色情報に基づいて、光源色を判定し、その光源色に基づいてホワイトバランス調整値を算出する態様がある。

第６に、検出されたＬＥＤ領域内の色情報に基づいて、ホワイトバランス調整値の物体色に対する追従強度を調整する態様がある。例えば、ＬＥＤ領域が検出されなかった場合よりもホワイトバランス調整後の色がＬＥＤの色に近くなるようなホワイトバランス調整値を算出する。

ステップＳ６８〜Ｓ７０は、第２実施形態におけるステップＳ３８〜Ｓ４０と同様である。ただしステップＳ７０では、ステップＳ６６が行われた場合、その光源推定処理の結果の評価値からホワイトバランス調整値を算出する。

＜第４実施形態＞
次に、第４実施形態の撮影装置について説明する。なお、本実施形態の撮影装置１０の全体構成は、図６に示した第３実施形態と同様であり、以下では第３実施形態と異なる点のみを説明する。

図８は、撮像画像全体領域α、ＬＥＤ領域β、及び非ＬＥＤ領域γの例を示す。

図９は本実施形態におけるホワイトバランス調整処理を示すフローチャートである。図８を用いてオートホワイトバランス処理について説明する。

まず、ＬＥＤ領域βの点灯時平均輝度ｐと非ＬＥＤ領域の平均輝度ｒとの輝度差（ｐ−ｒ）を、輝度差閾値ｘと比較する（ステップＳ８１）。

輝度差（ｐ−ｒ）が輝度差閾値ｘ以下である場合には、ＬＥＤ領域以外の領域（非ＬＥＤ領域）に、環境光の影響があると考えられるため、非ＬＥＤ領域の情報で光源を推定する処理（ステップＳ８２〜Ｓ９４）へと分岐する。

輝度差（ｐ−ｒ）が輝度差閾値ｘ以下である場合、ＬＥＤ領域βの面積ｔを撮像画像全領域αとＬＥＤ領域βとの面積比閾値ｚと比較する（ステップＳ８２）。非ＬＥＤ領域γの平均輝度ｒが高くても、その非ＬＥＤ領域γの面積ｔが撮像画像の全領域αに占める割合（ｓ−ｔ）が小さければ（即ちＬＥＤ領域βの全領域αに占める割合ｔが大きければ）、正確な光源推定を行うことが難しい。このため、ＬＥＤ領域βの割合ｔが面積比閾値ｚよりも大きければ、滅灯状態のＬＥＤ領域内の色情報を使って光源推定を行う処理（ステップＳ８３〜Ｓ８７）へと分岐する。

その処理では、領域分割数ｎでループ処理を開始し（ステップＳ８３）、注目した分割領域がＬＥＤ領域βであるか否かを判定する（ステップＳ８４）。ＬＥＤ領域が滅灯状態である場合には、ＬＥＤ自体の発光量がほぼゼロであり、物体色が排除されている状態とみなすことができる。よって、注目領域がＬＥＤ領域である場合には、滅灯状態（フリッカの暗いとき）のＬＥＤ領域内の色情報に基づいて光源色推定を行う（ステップＳ８５）。一方で、注目領域が非ＬＥＤ領域である場合には、通常の光源色推定を行う（ステップＳ８６）。分割領域数だけ処理を繰り返すと、ループ処理を終了する（ステップＳ８７）。

ステップＳ８２にて、ＬＥＤ領域βの割合ｔが面積比閾値ｚ以下であると判定された場合、ステップＳ８８〜Ｓ９４へと分岐する。この場合、全領域αに対してＬＥＤ領域βの面積ｔが支配的でない、且つ、非ＬＥＤ領域の輝度ｒが一定以上のレベルであると考えられる。よって、環境光の影響が考えられる。このため非ＬＥＤ領域内だけの色情報を使用してホワイトバランス調整値を算出してもそれなりの精度は得られるが、ＬＥＤ領域内の色情報も使用することで、さらに光源色推定の精度を向上させることができる。

そこで、領域分割数ｎでループ処理を開始し（ステップＳ８８）、注目した分割領域がＬＥＤ領域βであるか否かを判定する（ステップＳ８９）。ＬＥＤ領域である場合には、さらに、ＬＥＤ領域βの滅灯状態の平均輝度ｑを輝度閾値ｙと比較し（ステップＳ９０）、平均輝度ｑが輝度閾値ｙより大きければ滅灯状態のＬＥＤ領域内の色情報を使用して光源色推定を推定し（ステップＳ９１）、平均輝度ｑが輝度閾値ｙ以下であればＬＥＤ領域を除外して光源色推定を行う（ステップＳ９２）。また、注目する分割領域が非ＬＥＤ領域である場合には通常の光源色推定を行う（ステップＳ９３）。分割領域数だけ処理を繰り返すと、ループ処理を終了する（ステップＳ９４）。

ステップＳ８１にて、輝度差（ｐ−ｒ）がｘよりも大きい場合には、物体色としてのＬＥＤの影響が支配的な撮影シーン（例えば、夜景）である可能性が高い。ＬＥＤ領域βの滅灯時平均輝度ｑを非ＬＥＤ領域γの平均輝度ｒと比較し（ステップＳ９５）、ｑ＜ｒである場合には、ＬＥＤ（ただし物体色扱い）の影響が支配的であり、環境光の影響が無いなどの可能性が高いので、ＲＯＭ２８等に用意されている基準ゲインをホワイトバランス調整値（ホワイトバランスゲイン）として使用する。ｑ≧ｒである場合には、ＬＥＤ領域の滅灯時の色情報を用いて光源色推定を行う処理（ステップＳ８３〜Ｓ８７）へ分岐する。

なお、本発明をカメラ等の撮影装置に適用した場合を例に説明したが、本発明はこのような場合に特に限定されない。本発明を、撮像された画像から周期的に点滅するＬＥＤの光を含むＬＥＤ領域を検出する他の画像処理に適用してもよいことは、言うまでもない。例えば、携帯電話等の各種の携帯電子機器や、パーソナルコンピュータ、サーバ装置等の各種のコンピュータ装置に適用できる。

また、ＬＥＤ領域の検出結果に基づく画像処理として、フリッカ及びＬＥＤ領域を検出した撮像画像に対しホワイトバランス調整を行う場合を例に説明したが、その検出を行った撮像画像に時間的に続いて撮像された撮像画像に対して、ホワイトバランス調整を行ってもよい。例えば、シャッタスイッチが押される直前に時間的に連続して撮像されるライブビュー画像にてフリッカ検出及びＬＥＤ検出を行い、シャッタスイッチが押された後に撮像画像に対してホワイトバランス調整を行ってもよい。

また、ＬＥＤ領域情報に基づいてホワイトバランス調整を行う場合を例に説明したが、本発明はこのような場合に特に限定されない。本発明は、ホワイトバランス調整以外の他の画像処理を実施する場合に適用してもよいし、例えば、撮影条件設定部５１によりＬＥＤ領域情報に基づいて撮影条件（例えば、露出量、画角など）を切り換えるようにしてもよい。また、ＬＥＤ検出以外の画像処理を行わないでＬＥＤ検出結果を出力するだけのＬＥＤ検出装置（即ち、ＬＥＤ検出処理以降を他の装置で実施する場合）に適用してもよい。

本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。

１０…撮影装置（画像処理装置）、１１…撮像部、２６…ＲＡＭ、２８…ＲＯＭ、３２…メモリカード、３５…表示部、５１…撮影条件設定部、５２…画像取得部、５３…フリッカ検出部、５４…比較演算部、５５…ＣＰＵ、５６…ホワイトバランス演算部

Claims (21)

1. 連続的に撮像して得られた撮像画像を取得する画像取得手段と、
   前記撮像画像を複数の分割領域に分割し、前記分割領域ごとに、点滅するフリッカを検出するフリッカ検出手段と、
   前記フリッカが検出された分割領域ごとに、前記分割領域の点灯状態での輝度と滅灯状態での輝度との輝度差に基づいて、前記分割領域が発光ダイオード（ＬＥＤ）の光を含むＬＥＤ領域であるか否かを検出し、前記撮像画像中の前記ＬＥＤ領域を示すＬＥＤ領域情報を出力する比較手段と、
   を備える画像処理装置。
2. 前記検出されたＬＥＤ領域情報に基づいてホワイトバランス調整値を演算するホワイトバランス演算手段と、
   前記演算されたホワイトバランス調整値に基づいて、前記撮像画像又は前記撮像画像に続いて撮像された画像のホワイトバランスを調整するホワイトバランス調整手段と、
   を更に備える請求項１に記載の画像処理装置。
3. 前記ホワイトバランス演算手段は、前記ＬＥＤ領域を物体色の影響が強い物体色領域であると判定するとともに、前記撮像画像のうち前記ＬＥＤ領域を除外した領域内の情報に基づいて、光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出する、請求項２に記載の画像処理装置。
4. 前記ホワイトバランス演算手段は、前記撮像画像における前記ＬＥＤ領域の割合が閾値よりも大きい場合、前記ＬＥＤの分光特性、及び前記ＬＥＤ領域内の情報のうち少なくとも一方に基づいて光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出する、請求項２に記載の画像処理装置。
5. 前記ホワイトバランス演算手段は、前記ＬＥＤ領域の色と、前記撮像画像全体の色の平均、又は前記撮像画像のうち前記ＬＥＤ領域を除外した非ＬＥＤ領域の色の平均との差が閾値よりも大きい場合、前記ＬＥＤ領域の色とは異なる光源色を前記非ＬＥＤ領域内の情報から判定し、該光源色に基づいて前記ホワイトバランス調整値を算出する、請求項２に記載の画像処理装置。
6. 前記ホワイトバランス演算手段は、前記滅灯状態のＬＥＤ領域の輝度が閾値以下である場合、前記撮像画像の全領域のうち前記ＬＥＤ領域を除外した領域内の情報に基づいて、前記光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出する、請求項２に記載の画像処理装置。
7. 前記ホワイトバランス演算手段は、前記ＬＥＤ領域の輝度と非ＬＥＤ領域の輝度との輝度差が閾値よりも小さい場合、前記ＬＥＤの分光特性、及び前記ＬＥＤ領域内の情報のうち少なくとも一方に基づいて光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出する、請求項２に記載の画像処理装置。
8. 前記ホワイトバランス演算手段は、前記滅灯状態のＬＥＤ領域内の情報に基づいて、光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出する、請求項２、４、及び７のうちいずれか１項に記載の画像処理装置。
9. 前記ホワイトバランス演算手段は、前記検出されたＬＥＤ領域内の情報に基づいて、前記ホワイトバランス調整値の物体色に対する追従強度を調整する、請求項１から８のうちいずれか１項に記載の画像処理装置。
10. 前記ＬＥＤ領域情報を前記撮像画像に関連付けて記録媒体に記録する、請求項１から９のうちいずれか１項に記載の画像処理装置。
11. 請求項１から１０のうちいずれか１項に記載の画像処理装置と、
    被写体を連続的に撮像可能な撮像手段と、
    を備える撮影装置。
12. 前記検出されたＬＥＤ領域情報に基づいて、露出量を算出し、前記撮像手段により前記露出量に応じた撮像を行う、請求項１１に記載の撮影装置。
13. 連続的に撮像して得られた撮像画像を取得するステップと、
    前記撮像画像を複数の分割領域に分割するステップと、
    前記分割領域ごとに、点滅するフリッカを検出するステップと、
    前記フリッカが検出された分割領域ごとに、前記分割領域の点灯状態での輝度と滅灯状態での輝度との輝度差に基づいて、前記分割領域がＬＥＤの光を含むＬＥＤ領域であるか否かを検出するステップと、
    前記撮像画像中の前記ＬＥＤ領域を示すＬＥＤ領域情報を出力するステップと、
    を備える画像処理方法。
14. 連続的に撮像して得られた撮像画像を取得するステップと、
    前記撮像画像を複数の分割領域に分割するステップと、
    前記分割領域ごとに、点滅するフリッカを検出するステップと、
    前記フリッカが検出された分割領域ごとに、前記分割領域の点灯状態での輝度と滅灯状態での輝度との輝度差に基づいて、前記分割領域がＬＥＤの光を含むＬＥＤ領域であるか否かを検出し、前記撮像画像中の前記ＬＥＤ領域を示すＬＥＤ領域情報を生成するステップと、
    前記検出されたＬＥＤ領域情報に基づいてホワイトバランス調整値を演算するホワイトバランス演算ステップと、
    前記演算されたホワイトバランス調整値に基づいて、前記撮像画像又は前記撮像画像に続いて撮像された画像のホワイトバランスを調整するステップと、
    を備えるホワイトバランス調整方法。
15. 前記ホワイトバランス演算ステップにて、前記ＬＥＤ領域を物体色の影響が強い物体色領域であると判定するとともに、前記撮像画像のうち前記ＬＥＤ領域を除外した領域内の情報に基づいて、光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出する、請求項１４に記載のホワイトバランス調整方法。
16. 前記ホワイトバランス演算ステップにて、前記撮像画像における前記ＬＥＤ領域の割合が閾値よりも大きい場合、前記ＬＥＤの分光特性、及び前記ＬＥＤ領域内の情報のうち少なくとも一方に基づいて光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出する、請求項１４に記載のホワイトバランス調整方法。
17. 前記ホワイトバランス演算ステップにて、前記ＬＥＤ領域の色と、前記撮像画像全体の色の平均、又は前記撮像画像全体のうち前記ＬＥＤ領域を除外した非ＬＥＤ領域の色の平均との差が閾値よりも大きい場合、前記ＬＥＤ領域の色とは異なる光源色を前記非ＬＥＤ領域内の情報から判定し、該光源色に基づいて前記ホワイトバランス調整値を算出する、請求項１４に記載のホワイトバランス調整方法。
18. 前記ホワイトバランス演算ステップにて、前記滅灯状態のＬＥＤ領域の輝度が閾値以下である場合、前記撮像画像の全領域のうち前記ＬＥＤ領域を除外した領域内の情報に基づいて、前記光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出する、請求項１４に記載のホワイトバランス調整方法。
19. 前記ホワイトバランス演算ステップにて、前記ＬＥＤ領域の輝度と非ＬＥＤ領域の輝度との輝度差が閾値よりも小さい場合、前記ＬＥＤの分光特性、及び前記ＬＥＤ領域内の情報のうち少なくとも一方に基づいて光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出する、請求項１４に記載のホワイトバランス調整方法。
20. 前記ホワイトバランス演算ステップにて、前記滅灯状態のＬＥＤ領域内の輝度に基づいて、光源色を判定し、該光源色に基づいて前記ホワイトバランス調整値を算出する、請求項１４、１６、及び１９のうちいずれか１項に記載のホワイトバランス調整方法。
21. 前記ホワイトバランス演算ステップにて、前記検出されたＬＥＤ領域内の情報に基づいて、前記ホワイトバランス調整値の物体色に対する追従強度を調整する、請求項１４に記載のホワイトバランス調整方法。

Images