JP6574878B2 - 画像処理装置及び画像処理方法、撮像装置、プログラム、並びに記憶媒体 - Google Patents

Description

本発明は、被写体の暗部領域を再現するための画像処理技術に関する。

暗いシーンで被写体にストロボを発光せずに撮影を行うと、被写体の凹凸などにより、被写体の一部が影となり、薄暗くなった画像や、黒く潰れた画像になってしまうことがある。また、暗いシーンでストロボを発光して撮影を行うと、暗いシーンで灯りの雰囲気を残すことができないため、撮影画像に色補正などを行い画像を加工する必要がある。

一方、暗いシーンの動画撮影において被写体周辺の光量と被写体の動きによって、被写体の一部が光の当たらない暗部領域となってしまうことがある。この暗部領域は、輝度情報と共に色情報も失われてしまうため、フレームによって被写体と背景の境界が不明確になる場合がある。

このような画像の色補正や暗部領域の失われた画素情報に関して、特許文献１には、可視光画像から得た色情報と、可視光以外の波長の画像、例えば赤外光画像から得た輝度情報とを合成し、暗部の色情報を補正する技術が記載されている。

特開２０１１−２３９２５９号公報

しかしながら、上記特許文献１には、被写体の一部が暗部領域となってしまったときの色情報の補正方法や、暗部領域における失われた色情報の補正方法について何ら記述されていない。

本発明は、上記課題に鑑みてなされ、その目的は、被写体の暗部領域を再現することができる画像処理技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の画像処理装置は、第１の波長の光から生成された第１の画像を所定のフレームレートで取得する第１の画像取得手段と、第２の波長の光から生成された第２の画像を所定のフレームレートで取得する第２の画像取得手段と、前記第１の画像の第１のフレームから検出された被写体領域と、前記第１のフレームに対応する前記第２の画像の第３のフレームから検出された被写体領域との、差分領域を検出する検出手段と、前記第２の画像の前記第３のフレームから検出された被写体領域と第４のフレームから検出された被写体領域との動きベクトルを求める算出手段と、前記第１の画像の前記第１のフレームのうち、前記差分領域に含まれる第１の画素の位置に対応する、前記第２の画像の第４のフレームに対応する前記第１の画像の第２のフレームにおける推定位置を、前記動きベクトルに基づいて求める推定手段と、前記第２のフレームから検出された被写体領域の色情報と前記第１のフレームから検出された被写体領域の色情報の比率、および、前記第２のフレームの前記推定位置の画素における色情報に応じて、前記第１の画像の前記第１のフレームの前記第１の画素の色情報を補正する補正手段と、を有する。

本発明によれば、被写体の暗部領域を再現することができる。

本発明に係る実施形態の撮像装置の構成を示すブロック図。 図１の信号処理部の構成を示すブロック図。 実施形態１の色補正処理部の機能ブロック図。 実施形態１の色補正処理を示すフローチャート。 可視光画像（ａ）と赤外光画像（ｂ）を例示する図。 可視光画像の輝度分布情報（ａ）と赤外光画像の輝度分布情報（ｂ）を例示する図。 実施形態１の色補正が実行された可視光画像を例示する図。 実施形態２の色補正処理を示すフローチャート。 実施形態３の色補正処理部の機能ブロック図。 実施形態３の色補正処理を示すフローチャート。 赤外光画像から抽出された被写体領域（ａ）と可視光画像から抽出された被写体領域（ｂ）を例示する図。 実施形態４の色補正処理部の機能ブロック図。 実施形態４の色補正処理を示すフローチャート。 実施形態４の色補正処理の手順を模式的に示す図。 図１４（ａ）の可視光画像と図１４（ｂ）の赤外光画像の各フレームから求められる共通領域（ａ）と差分領域（ｂ）をそれぞれ示す図。 図１４（ｂ）の赤外光画像から抽出された被写体領域を例示する図。 図１６（ａ）、（ｂ）の被写体領域の特徴点から求められる形状変化量を示す図。 被写体領域の形状変化量から画素移動位置を推定する方法を説明する図。 可視光画像を複数ブロックに分割した各ブロック内の画素情報から得られた色情報を示す図。 図１９に示すブロック単位の色情報のうち、赤外光画像の被写体領域に対応する色情報の拡大図。 実施形態４の変形例として複数フレーム間にわたって色補正処理を行う方法を説明する図。 図２１（ａ）の可視光画像と、図２１（ｂ）の赤外光画像の各フレームから求められる共通領域（ａ）と差分領域（ｂ）をそれぞれ示す図。

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。

以下、本発明の画像処理装置を、動画や静止画を撮影するデジタルカメラなどの撮像装置により実現した例について説明するが、本発明は撮像装置を内蔵または追加可能な携帯電話やスマートフォン、タブレット、パーソナルコンピュータ、ゲーム機などの電子機器にも適用可能である。

＜装置構成＞図１を参照して、本実施形態の撮像装置（以下、カメラ）の構成および機能について説明する。

図１において、光学系１００は、ズームレンズやフォーカスレンズを含むレンズ群、絞り機能を備えるシャッターを含み、被写体から反射した可視光および赤外光を透過し撮像素子に結像する。

第１および第２の撮像部１０１、１０８はそれぞれ、被写体像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子を含む。第１および第２のＡ／Ｄ変換部１０２、１０９はそれぞれ、撮像素子から出力されるアナログ信号をデジタル信号に変換する。

第１および第２のタイミングジェネレータ（ＴＧ）１０６、１１１は、第１および第２の撮像部１０１、１０８の各撮像素子を駆動する駆動パルス（タイミング信号）を生成する。

第１および第２の撮像素子駆動部１０５、１１０はそれぞれ、第１および第２のＴＧ１０６、１１１の駆動パルスに従って、第１および第２の撮像部１０１、１０８の各撮像素子の撮像動作を制御する。各撮像素子で生成されたアナログ信号は、ＣＰＵ１０７の指令に従って各ＴＧ１０６、１１１から与えられる駆動パルスに基づいて順次読み出され、各Ａ／Ｄ変換部１０２、１０９によりデジタル信号に変換されて信号処理部１０４に送出される。

ＣＰＵ１０７は、カメラ本体の種々の制御を司るために、演算部、ＲＯＭ、ＲＡＭ、通信Ｉ／Ｆ（インターフェース）などを有する。ＣＰＵ１０７は、ＲＯＭに記憶された所定のプログラムに基づいて、カメラの各部を駆動し、ＡＦ、撮影、画像処理と記録などの一連の動作を実行する。

操作部１０３は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネルなどの操作部材からなり、例えば、電源スイッチ、シャッタースイッチ、録画スイッチ、モード切替スイッチなどを含む。モード切替スイッチは、ＣＰＵ１０７の動作モードを静止画撮影モード、動画記録モード、再生モードなどに切り替える。

信号処理部１０４は、各撮像部１０１、１０８で撮像され、各Ａ／Ｄ変換部１０２、１０９から出力される静止画や動画などの画像データに対して、所定の画素補間、リサイズ、後述する色補正やガンマ処理といった各種信号処理を行う。

データバス１１２は、各種データや制御情報などをカメラの各ブロックに送出するための伝送路として機能する。

信号処理部１０４により各種信号処理が施された画像データは、データバス１１２を介してメモリ制御部１１３、表示制御部１１５、記録制御部１１８、圧縮／伸張部１１７に送出される。

メモリ制御部１１３は、画像データのメモリ１１４への書き込みや読み出しを制御する。メモリ１１４は例えばＤＲＡＭであり、信号処理部１０４から出力される画像データや、表示部１１６に表示するための画像データを格納する。また、メモリ１１４は、画像データの圧縮／伸張処理における作業用メモリとしても使用される。メモリ１１４は、所定枚数の静止画や所定時間の動画および音声を格納するのに十分な記憶容量を備えている。

表示制御部１１５は、信号処理部１０４から出力されメモリ１１４に格納された画像データや記録媒体１１９から読み出されメモリ１１４に格納された画像データを表示用のアナログ信号に変換して表示部１１６に表示する。表示部１１６は、ＬＣＤなどの表示器にアナログ信号に応じた表示を行う。また、表示制御部１１５は、信号処理部１０４から出力されメモリ１１４に格納された画像データを表示用のアナログ信号に変換して表示部１１６に逐次転送して表示することで、電子ビューファインダとして機能し、ライブビュー画像表示を行える。なお、表示部１１６には、表示部１１６に対する接触を検知可能なタッチパネルを一体的に構成することができる。この場合、後述する追尾処理において追尾する被写体をユーザが指定するための手段として、タッチパネルが用いられる。

記録制御部１１８は、画像データの記録媒体１１９への書き込みや読み出しを制御する。記録媒体１１９は、メモリカードやハードディスクなどであり、半導体メモリや磁気ディスクなどを含む。

圧縮／伸張部１１７は、信号処理部１０４から出力されメモリ１１４に格納されている画像データを、静止画ならばＪＰＥＧ、動画ならばＨ．２６４などの所定のフォーマットまたはビットレートで圧縮符号化して静止画や動画のファイルを生成する。また、圧縮／伸張部１１７は、記録媒体１１９に記録されている静止画ファイルや動画ファイルを所定のビットレートおよびフォーマットで復号し、メモリ制御部１１３を介してメモリ１１４に格納する。

圧縮／伸張部１１７で復号されてメモリ１１４に格納される画像データは表示制御部１１５に送出されて表示部１１６に表示される。

上記構成において、光学系１００を透過した光は、例えばハーフミラーやプリズムにより、第１および第２の撮像部１０１、１０８に同時に送出される。

第１および第２の撮像部１０１、１０８の各撮像素子には、例えば、入射光の波長帯域を制限するための光学フィルタが内蔵されている。これにより、第１の撮像部１０１は可視光の波長帯域（第１の波長）の光のみを受光し、第２の撮像部１０８は赤外光の波長帯域（第２の波長）のみ受光するように構成されている。

可視光の被写体像は第１の撮像部１０１で光電変換されて、アナログ信号として第１のＡ／Ｄ変換部１０２に送出され、第１のＡ／Ｄ変換部１０２でデジタル信号に変換されて信号処理部１０４に送出される。同様に、赤外光の被写体像は第２の撮像部１０８で光電変換されて、アナログ信号として第２のＡ／Ｄ変換部１０９に送出され、第２のＡ／Ｄ変換部１０９でデジタル信号に変換されて信号処理部１０４に送出される。

第１の撮像素子駆動部１０５は、第１のＴＧ１０６からの駆動パルスに基づき、撮像素子の各画素信号を読み出すための制御を行い、可視光の被写体像の露光時間を制御しながら第１の撮像部１０１から可視光画像を取得する。同様に、第２の撮像素子駆動部１１０は、第２のＴＧ１１１からの駆動パルスに基づき、撮像素子の各画素信号を読み出すための制御を行い、赤外光の被写体像の露光時間を制御しながら第２の撮像部１０８から赤外光画像を取得する。

ＣＰＵ１０７は、信号処理部１０４のパラメータやＴＧ１０６、１１１の駆動パルスなどを切り替える。

＜信号処理部の構成＞次に、図２を参照して、信号処理部１０４の構成および機能について説明する。

図２において、第１のＡ／Ｄ変換部１０２から出力される可視光の画像信号は、第１のセンサ補正部２００によって、光学系１００で生じる色収差や撮像素子のゲインばらつき、欠陥画素判定、欠陥画素補正などの画素補間処理が施される。第１のセンサ補正部２００から出力されるデジタル信号は、第１の現像処理部２０１により現像処理が施され画像データが生成される。ここで現像処理とは、例えばベイヤー画像を同時化処理、ガンマ補正処理などを行いＲＧＢ（ベイヤー画像）からＹＣｒＣｂ変換後の可視光画像データを生成することである。

同様に、第２のＡ／Ｄ変換部１０９から出力される赤外光の画像信号は、第２のセンサ補正部２０２によって、光学系１００で生じる色収差や撮像素子のゲインばらつき、欠陥画素判定、欠陥画素補正などの画素補間処理が施される。第２のセンサ補正部２０２から出力されるデジタル信号は、第２の現像処理部２０３により現像処理が施され画像データが生成される。第２の現像処理部２０３では、例えば、格子配列状の赤外光の画像信号を輝度情報として、フィルタ処理、ガンマ補正処理などを行い、赤外光画像データを生成する。

第１および第２の各現像処理部２０１、２０３からの出力データは、補正処理部２０４に送出されると共に、データバス１１２を介してメモリ１１４に記録される。

（概要説明１）
以下に説明する実施形態１〜３は、赤外光画像から被写体の形状や陰影（輝度分布）を求め、可視光画像の被写体領域における高輝度領域の色情報（明度、彩度、色相）を用いて、暗部領域の色情報の補正を行う画像処理方法に関する。

［実施形態１］以下、実施形態１の可視光画像の色補正処理について説明する。

図３は、本実施形態の色補正処理を実現するための図２の補正処理部２０４の機能ブロックを示している。

図３において、可視光画像取得部３０１は、例えば、図１および図２に示す第１の撮像部１０１、第２のＡ／Ｄ変換部１０２、第１のセンサ補正部２００、第１の現像処理部２０１に対応する。また、赤外光画像取得部３０２は、例えば、図１および図２に示す第２の撮像部１０８、第２のＡ／Ｄ変換部１０９、第２のセンサ補正部２０２、第２の現像処理部２０３に対応する。

輝度情報比較部３０３は、可視光画像データの輝度分布情報と赤外光画像データの輝度分布情報とを比較する。

色補正部３０４は、輝度情報比較部３０３による比較結果を用いて、可視光画像の被写体領域における暗部領域の色情報を補正する。

＜色補正処理＞次に、図４ないし図７を参照して、図２の補正処理部２０４による可視光画像の被写体領域における暗部領域の色補正処理について説明する。

図４は、図２の補正処理部２０４による可視光画像データの被写体領域における暗部領域の色補正処理を示すフローチャートである。

なお、図４に示す処理は、ＣＰＵ１０７がＲＯＭに格納されたプログラムをＲＡＭに展開して実行することにより実現される。

図４において、Ｓ４０１では、信号処理部１０４は、可視光画像取得部３０１および赤外光画像取得部３０２により赤外光画像データ（図５（ａ））と可視光画像データ（図５（ｂ））を取得する。

図６（ａ）と図６（ｂ）はそれぞれ、赤外光画像の被写体領域の一部の輝度分布情報と可視光画像の被写体領域の一部の輝度分布情報を例示しており、各画像内の輝度分布情報が最大値１０、最小値０として正規化されている。図６（ａ）に示す赤外光画像の輝度分布の中で、画素６０１、６０４を着目領域とすると、輝度情報比較部３０３は、図６（ｂ）に示す可視光画像の輝度分布のうち、着目領域６０１に対応する領域６０２と着目領域６０１との間の正規化された輝度値の差分、ならびに着目領域６０４に対応する領域６０５と着目領域６０４との間の正規化された輝度情報の差分を算出する（Ｓ４０２）。

Ｓ４０３では、色補正部３０４は、Ｓ４０２で算出した差分値を取得し、取得した差分値が小さくなる輝度情報を持つ領域を、可視光画像における着目領域に対応する領域の近傍から探索する。図６の例では、赤外光画像の領域６０１の輝度値は３、領域６０１に対応する可視光画像の領域６０２の輝度値は１であり、差分値は２となる。同様に、領域６０４と領域６０５の輝度情報の差分値は１である。領域６０２の近傍領域６０３の輝度値３、領域６０５の近傍領域６０６の輝度値７であり、もともとの可視光画像の領域６０２、６０５と比べて差分値が小さくなることがわかる。

そこで、Ｓ４０３では、色補正部３０４は、可視光画像の領域６０３の色情報を取得し、同様に、領域６０６の色情報を取得する。

Ｓ４０４では、色補正部３０４は、取得した領域６０３の色情報を用いて領域６０２の色情報を補正し、領域６０６の色情報を用いて領域６０５の色情報を補正する。

上述した色補正処理によれば、可視光画像の被写体の暗部領域について色補正がなされた、図７に示すような画像が出力される。

本実施形態のように可視光画像と赤外光画像との間に差分が生じる原因の１つに散乱量の違いがある。赤外光は可視光に比べて散乱量が小さく、赤外光の方がより遠くに光が届きやすい。そのため、被写体からの反射光量が少なく、暗くなっている（可視光が届いていない）状態でも、赤外光では感知することが可能となる。後述する実施形態２および３についても同様のことが言える。

また、本実施形態では１つの画素領域の色情報を用いて暗部領域の色情報を補正していたが、複数の画素領域の色情報を用いて補正を行っても良い。

また、本実施形態の赤外光画像の着目領域や可視光画像の画素領域は画素単位であっても、複数画素から構成される画素群であっても良い。

また、本実施形態の赤外光画像の着目領域の決定方法は、ユーザが画像に応じて任意に決定できる構成であっても、予め設定された条件に基づき決定される構成であっても良い。

［実施形態２］次に、図８を参照して、実施形態２の可視光画像の色補正処理について説明する。

本実施形態は、赤外光画像の着目領域の輝度情報と、着目領域に対応する可視光画像の輝度情報との間の差分の大きさに応じて、可視光画像の被写体領域における暗部領域の色補正処理を実施するか否かを判定する。

なお、本実施形態の装置構成は実施形態１と同様である。

図８は、本実施形態の色補正処理を示すフローチャートである。

図８において、Ｓ８０１、Ｓ８０２、Ｓ８０４は、図４のＳ４０１、Ｓ４０２、Ｓ４０３と同様である。

Ｓ８０３では、色補正部３０４は、Ｓ８０２で算出された差分値を取得し、取得した差分値と予め設定された閾値とを比較する。比較の結果、差分値が閾値以下の場合は、色補正処理は実施せずに処理を終了する。一方、差分値が閾値より大きい場合は、色補正部３０４は、着目領域に対応する可視光画像の暗部領域の色情報を補正する（Ｓ８０５）。ここで、閾値が１に設定されていた場合、図６の例では領域６０１と６０２の輝度情報の差分値は２であるため、Ｓ８０３の条件を満たす領域６０１に対してＳ４０４と同様に色補正処理を実施する。これに対して、領域６０４と６０５の輝度情報の差分値は１であるため、Ｓ８０３の条件を満たさない領域６０４に対する色補正処理は実施しない。すなわち、輝度情報の差分が閾値以下の可視光画像の領域に対する色補正処理は実施しない。

本実施形態によれば、可視光画像の被写体の暗部領域について色補正がなされた、図７に示すような画像が出力される。

本実施形態においても実施形態１と同様に、１つの領域の色情報を用いて別の領域の色情報を補正していたが、複数の領域の色情報を用いて補正を行っても良い。

また、本実施形態の赤外光画像の着目領域の決定方法は、ユーザが画像に応じて任意に決定できる構成であっても、予め設定された条件に基づき決定される構成であっても良い。

また、閾値と輝度情報の差分値との関係は、本実施形態の限りではない。

また、本実施形態では、可視光画像の輝度情報と赤外光画像の輝度情報の差分値を用いて色補正処理を実施するか否かを判定しているが、可視光画像および／または赤外光画像の輝度の信号レベルの大きさによって重みづけを行った上で、補正処理を実施するか判定する構成としても良い。この場合、例えば着目領域に対応する可視光画像の領域の輝度の信号レベルが小さいほど、色補正が実施されやすくなるような重みづけを行うことにより、輝度情報の差分値が１の領域であっても、可視光画像と赤外光画像の輝度の信号レベルが例えば９：１０ならば補正処理を実施せず、０：１の場合は実施するというような構成となる。

［実施形態３］次に、図９ないし図１１を参照して、実施形態３の可視光画像の色補正処理について説明する。

本実施形態は、赤外光画像と可視光画像の各輝度情報の差分値を比較する代わりに、赤外光画像から抽出した被写体領域に対応する可視光画像の領域のうち、高輝度領域の色情報を用いて暗部領域の色補正処理を実施する。

図９は、本実施形態の色補正処理を実現するための図２の補正処理部２０４の機能ブロックを示している。

図９において、可視光画像取得部９０１は、例えば、図１および図２に示す第１の撮像部１０１、第２のＡ／Ｄ変換部１０２、第１のセンサ補正部２００、第１の現像処理部２０１に対応する。また、赤外光画像取得部９０２は、例えば、図１および図２に示す第２の撮像部１０８、第２のＡ／Ｄ変換部１０９、第２のセンサ補正部２０２、第２の現像処理部２０３に対応する。

被写体領域抽出部９０３は、赤外光画像データから被写体領域を抽出する。色補正部９０４は、被写体領域抽出部９０３により抽出された被写体領域に対応する可視光画像の領域のうち、彩度情報または輝度情報が高い領域から色情報を取得し、この色情報を用いて可視光画像データの暗部領域の色情報を補正する。

図１０は、本実施形態の色補正処理を示すフローチャートである。

図１０において、Ｓ１００１、Ｓ１００５は、図４のＳ４０１、Ｓ４０４と同様である。

Ｓ１００２では、被写体領域抽出部９０３は、赤外光画像から被写体領域として、例えば人物の顔領域を抽出する。図１１（ａ）では、赤外光画像から抽出された被写体領域１１０１が斜線で示されている。

Ｓ１００３では、色補正部９０４は、赤外光画像から抽出された被写体領域に対応する可視光画像の領域を抽出する。図１１（ｂ）では、可視光画像から抽出された領域１１０２が点斜線で示されている。また、色補正部９０４は、可視光画像から抽出された領域１１０２の彩度情報または輝度情報を取得する。

Ｓ１００４では、色補正部９０４は、可視光画像の領域１１０２から暗部領域を抽出し、領域１１０２のうち、暗部領域よりも彩度情報または輝度情報が高い値を持つ領域を探索し、該当する領域の色情報を取得する。

Ｓ１００５では、色補正部９０４は、暗部領域よりも彩度情報または輝度情報が高い値を持つ領域から取得した色情報を用いて暗部領域の色情報を補正する。

本実施形態によれば、可視光画像の被写体領域における暗部領域について色補正がなされた、図７に示すような画像が出力される。

本実施形態では、暗部領域に対する色補正処理を実施するか否かの判定については言及していないが、暗部領域の彩度情報や輝度情報と予め設定された閾値との比較により、色補正を実施するか否かを判定する構成としても良い。

また、本実施形態では、可視光画像の被写体領域のうち、暗部領域よりも彩度情報または輝度情報が高い領域から色情報を取得しているが、被写体の種別や被写体の向きや形状を判別し、判別した結果に応じて色情報を取得する領域を決定しても良い。

（概要説明２）
以下に説明する実施形態４は、動画撮影において、赤外光画像により被写体を追尾しつつ、赤外光画像の被写体領域についてフレーム間の形状変化を求め、赤外光画像の被写体領域に対応する可視光画像の画素移動位置を求め、可視光画像における移動前と移動後の画素の色情報（明度、彩度、色相）の変化を求めて、フレーム間の画素の色情報を補正していく。

このようにして、動画撮影される可視光画像の暗部領域の色情報を補正することができる。

図１４は、上述した可視光画像の暗部領域の色情報を補正する手順を模式的に示している。

図１４（ａ）は、可視光画像における３フレーム分の画像データを示し、斜線１４０２は光が乏しく影となる領域に対応し、交差線１４０１は被写体領域に対応する。

図１４（ｂ）は、赤外光画像における３フレーム分の画像データを示している。赤外光画像は赤外光の波長帯域が可視光に比べて長いことから、例えば赤外光を被写体に照射して、被写体の形状（領域）を可視光よりも正確に求めることができる。また、赤外光を被写体に照射しても、可視光画像を撮像する撮像素子とは受光する光の波長帯域が異なるため可視光画像には影響しないという利点もある。

図１４（ｃ）は、可視光画像の各フレームの被写体領域１４０１における暗部領域（領域１４０２と重なる領域）の色情報が赤外光画像から求めた当該領域の形状と輝度分布とに基づいて補正された３フレーム分の画像データを示している。

このように、赤外光画像から被写体領域の形状（領域）と陰影（輝度分布）を求め、可視光画像から被写体領域の陰影（輝度分布）を求め、可視光画像の被写体領域における暗部領域の色情報が、可視光画像の被写体領域から算出される特徴色情報で補間される。

［実施形態４］まず、実施形態４の可視光画像の色補正処理について説明する。

本実施形態では、図１で説明したように、可視光を受光する第１の撮像部１０１と赤外光を受光する第２の撮像部１０８の駆動を個別に制御できるように２つの駆動部１０５、１１０を設けている。その理由は、例えば、可視光画像とは異なるタイミングで、赤外光画像を高いフレームレートで取得することで後述する追尾処理精度を向上させるためである。

図１２は、本実施形態の色補正処理を実現するための図２の補正処理部２０４の機能ブロックを示している。

図１２において、補正処理部２０４に入力される第１の可視光画像データ１２００、第２の可視光画像データ１２０１は、所定のフレームレートに応じた時間間隔で撮影された可視光画像の各フレーム画像に対応するデータである。第１および第２の可視光画像データ１２００、１２０１は、例えば、第１の現像処理部２０１から出力される画像データやメモリ１１４から読み出された画像データとなる。

同様に、補正処理部２０４に入力される第３の赤外光画像データ１２０２、第４の赤外光画像データ１２０３は、所定のフレームレートに応じた時間間隔で撮影された赤外光画像の各フレーム画像に対応するデータである。第３および第４の赤外光画像データ１２０２、１２０３は、例えば、第２の現像処理部２０３から出力される画像データやメモリ１１４から読み出された画像データとなる。

ここで、第１の可視光画像データ１２００と第３の赤外光画像データ１２０２は同じ時間に撮影された画像データであり、第２の可視光画像データ１２０１と第４の赤外光画像データ１２０３は同じ時間に撮影された画像データとする。

第１の被写体追尾部１２０４は、第１の可視光画像データ１２００を用いて被写体追尾処理を行う。例えば、第１の被写体領域抽出部１２０６は、第１の可視光画像データ１２００から、ユーザが予め指定した追尾する被写体について、例えば色差信号や輝度信号によるパターンマッチングを用いて被写体領域情報を抽出する。同様に、第２の被写体領域抽出部１２０７は、第２の可視光画像データ１２０１から被写体領域情報を抽出する。

第１および第２の被写体領域抽出部１２０６、１２０７により抽出された第１および第２の可視光画像データ１２００、１２０１の被写体領域情報は、特徴色抽出部１２１５および領域比較部１２１４に送出される。

第１の被写体追尾部１２０４ではさらに、第１の移動量検出部１２０８が、第１および第２の可視光画像データ１２００、１２０１における特徴点の移動量を算出し、ベクトル情報として色補正部１２１６に送出する。この特徴点は、例えば、第１の被写体領域抽出部１２０６や第２の被写体領域抽出部１２０７によって抽出された被写体領域の外形形状から求めても良い。

同様に、第２の被写体追尾部１２０５は、第３の赤外光画像データ１２０２を用いて被写体追尾処理を行う。例えば、第３の被写体領域抽出部１２０９は、第３の赤外光画像データ１２０２から、ユーザが予め指定した追尾する被写体について、例えば赤外光の輝度信号によるパターンマッチングを用いて被写体の領域情報を抽出する。同様に、第４の被写体領域抽出部１２１０は、第４の赤外光画像データ１２０３から被写体の領域情報を抽出する。

第３および第４の被写体領域抽出部１２０９、１２１０により抽出された第３および第４の赤外光画像データ１２０２、１２０３の被写体領域情報は、特徴色抽出部１２１５、領域比較部１２１４、および形状変化取得部１２１２に送出される。

第２の被写体追尾部１２０５ではさらに、第２の移動量検出部１２１１が、第３および第４の赤外光画像データ１２０２、１２０３における特徴点の移動量を算出し、ベクトル情報として形状変化取得部１２１２および色補正部１２１６に送出する。

また、形状変化取得部１２１２は、第３および第４の被写体領域抽出部１２０９、１２１０によって抽出された被写体領域情報と、第２の移動量検出部１２１１によって抽出された第３および第４の赤外光画像データ１２０２、１２０３における特徴点のベクトル情報とに基づいてフレーム間の被写体領域の形状変化量を求め、画素移動位置推定部１２１３に送出する。

画素移動位置推定部１２１３は、形状変化量と領域比較部１２１４による比較結果とに基づいて被写体領域内の画素移動位置をベクトル演算によって求める。

図１６は、図１４（ｂ）に示す３フレーム分の赤外光画像からフレームごとの被写体領域を抽出したものである。また、図１７は、例えば図１６（ａ）、（ｂ）についてそれらの特徴点から形状変化量を求めた結果を示している。

形状変化取得部１２１２は、図１７に示すような３フレーム分の赤外光画像から抽出した被写体領域に関する特徴点の移動量をベクトル情報として取得する。

次に、画素移動位置推定部１２１３は、例えば、被写体領域が図１６（ａ）から（ｂ）に時間的に変化することで、図１７におけるｘ点がどこに移動するかを推定する。

上述のように形状変化を求めて画素移動位置を推定する方法はいくつかあるが、本実施形態では、例えば図１８に示すようなｘ点の近傍にある特徴点の変化量ベクトルＹおよびＺを用いて、ｘ点の位置座標からベクトル計算によって推定移動量ベクトルＸを求める。

このようにして、図１７に示すｘ点の移動位置はｘ’点となり、同様な計算方法で、赤外光画像である図１４（ｂ）に示すｄ’点に対応した参照画素として前フレームのｄ点が求められる。そして、この参照画素の位置情報を可視光画像の位置座標に置き換えることで、可視光画像である図１４（ａ）に示すｂ’点に対応した参照画素としてｂ点の色情報を取得する。

次に、領域比較部１２１４は、第１ないし第４の被写体領域抽出部１２０６、１２０７、１２０９、１２１０により得られる被写体領域のフレーム間の差分領域情報として、例えば、可視光画像の被写体領域のフレーム間の差分領域情報や、赤外光画像の被写体領域のフレーム間の差分領域情報を取得する。さらに、時間的に同じフレーム間の可視光画像と赤外光画像の被写体領域の差分領域情報を取得する。

図１５は、領域比較部１２１４により得られたフレーム間の被写体領域情報を示し、図１４（ａ）に示す３フレーム分の可視光画像と、図１４（ｂ）に示す３フレーム分の赤外光画像から求められる共通領域（ａ）と差分領域（ｂ）をそれぞれ示している。

領域比較部１２１４により得られた差分領域情報は、画素移動位置推定部１２１３が赤外光画像における被写体領域の参照画素のフレーム間の移動位置を求める際にパラメータとして使用される。

次に、形状変化取得部１２１２により求められ被写体領域の形状変化量から、画素移動位置推定部１２１３が補正対象となる参照画素の位置情報を求め、色補正部１２１６へ送出される。

特徴色抽出部１２１５では、可視光画像１２００、１２０１および赤外光画像１２０２、１２０３の各フレームの被写体領域情報から各被写体領域内の特徴色が算出される。この特徴色は、例えば、被写体領域を複数のブロックに分割し、各ブロック内の画素情報を積分して得られるブロック単位の色情報で表される。

図１９は、図１４（ａ）に示すａ点、ｂ点を含むフレームについて水平３２ブロック、垂直２４ブロックに分割し、各ブロック内の画素情報を積分して得られた色情報を示している。また、図２０は、図１９に示すブロック単位の色情報について、赤外光画像から得られた被写体領域を破線で示し、この被写体領域内のブロック単位の積分情報を斜線で示している。このように、被写体が単一色を持つ物体であったとすると、図２０の斜線で示すブロックが持つ画素情報の平均値が特徴色となる。

色補正部１２１６は、上記被写体領域の差分領域情報と特徴色情報と特徴点の位置情報とを用いて可視光画像の暗部領域の色情報を補正する。

＜色補正処理＞ここで、図１３を参照して、図２の補正処理部２０４による可視光画像データの暗部領域の色補正処理について説明する。

なお、以下の説明では、ユーザが追尾する被写体を指定し、動画撮影が開始された状態であるとする。

Ｓ１３０１では、第１の被写体追尾部１２０４が、可視光画像の時間的に異なる２つのフレームにより被写体の追尾処理を行う。

Ｓ１３０２では、第１の移動量検出部１２０８が、第１および第２の可視光画像データ１２００、１２０１における特徴点の移動量を算出し、第１および第２の被写体領域抽出部１２０６、１２０７が各フレームの被写体領域情報を取得する。

Ｓ１３０３では、第２の被写体追尾部１２０５が、赤外光画像の時間的に異なる２つのフレームにより被写体の追尾処理を行う。

Ｓ１３０４では、第２の移動量検出部１２１１が、第３および第４の赤外光画像データ１２０２、１２０３における特徴点の移動量を算出し、第３および第４の被写体領域抽出部１２０９、１２１０が各フレームの被写体領域情報を取得する。

Ｓ１３０５では、特徴色抽出部１２１５が、第１および第２の可視光画像のフレームと、Ｓ１３０２及びＳ１３０４で取得した被写体領域情報から被写体領域内の特徴色情報を算出する。

Ｓ１３０６では、領域比較部１２１４が、Ｓ１３０２で取得した可視光画像の２つのフレーム間の被写体領域情報を比較して差分値Ｍを求めると共に、Ｓ１３０４で取得した赤外光画像の２つのフレーム間の被写体領域の差分値Ｎを求める。ここで、本実施形態では、時間的に後のフレームの被写体領域から前のフレームの被写体領域を減算した値を差分値ＭおよびＮとする。例えば、図１４（ａ）に示す可視光画像では影（暗部）１４０２の影響により被写体領域１４０１は、時間が経過するにつれて図１５（ａ）に示すように抽出できる被写体領域が小さくなるため、フレーム間の差分値Ｍは大きくなる。これに対して、図１４（ｂ）に示す赤外光画像では被写体の形状は変化するものの、影の影響を受けないのでフレーム間の差分値Ｎに大きな変化は生じない。

また、Ｓ１３０６では、差分値ＭとＮを比較し、差分値ＭとＮの差が予め設定された閾値Ｘよりも大きいか判定する。
ここで、閾値Ｘは、上述したように、時間の経過に応じて、赤外光画像の被写体領域の差分値Ｎに変化はないが、可視光画像の被写体領域の差分値Ｍには変化がある場合の各画像の被写体領域の差分値の変化の大きさを判定するために用いられる。例えば、閾値Ｘは赤外光画像から求めた被写体領域を１とし、Ｌ（整数）で分周した値を用い、Ｌを１０とすると、閾値Ｘは１／１０となる。
そして、差分値Ｍが差分値Ｎに対して閾値より大きい場合は、被写体領域に対する暗部の影響が大きいと判定できるので、暗部領域の色補正を行う一方、閾値以下の場合は被写体領域に対する暗部の影響が小さいと判定できるので、暗部領域の色補正は行わない。なお、Ｓ１３０６で赤外光画像の被写体領域についても差分値Ｎを求めたのは、被写体自身の動きにより変化する被写体領域を色補正を行うか否かの判定に加味するためである。

Ｓ１３０７では、領域比較部１２１４は、可視光画像の被写体領域について、時間的に前のフレームと後のフレームのどちらの被写体領域が大きいか、つまり、どちらのフレームの画像の方が暗部領域が小さいかを判定する。判定の結果、前のフレームの被写体領域の方が大きい場合はＳ１３０８に進み、後のフレームの被写体領域の方が大きい場合はＳ１３０９に進む。

Ｓ１３０８では、領域比較部１２１４は、後のフレームの可視光画像と赤外光画像の間の被写体領域の差分を求める。例えば、図１４（ａ）の例では、後のフレームの可視光画像の被写体領域の方が小さい、つまり、暗部領域が大きいので、後のフレームについて、図１５（ｂ）に示すような可視光画像と赤外光画像の間の被写体領域の差分を求める。

Ｓ１３０９では、領域比較部１２１４は、同様に、前のフレームの可視光画像と赤外光画像の間の被写体領域の差分を求める。

Ｓ１３１０では、形状変化取得部１２１２が、赤外光画像のフレーム間の被写体領域情報と、被写体領域における特徴点のベクトル情報とから、被写体領域の形状変化量を求める。また、画素移動位置推定部１２１３が、上記形状変化量とＳ１３０８、Ｓ１３０９で求められた差分領域内の特徴点の移動位置情報を赤外光画像から求める。ここでは、例えば、図１４（ｂ）の赤外光画像のフレームにおいて、図１５（ｂ）の差分領域に含まれるｄ’点から前のフレームのｄ点を求める。

Ｓ１３１１では、色補正部１２１６が、Ｓ１３１０で求めた特徴点の移動位置情報から、可視光画像における赤外光画像の特徴点と同じ位置の色情報を抽出する。ここでは、例えば、図１４（ｂ）の赤外光画像のフレームから求めたｄ点について、同一時間に取得された可視光画像のフレームである図１４（ａ）のｂ点から色情報を抽出する。

Ｓ１３１２では、色補正部１２１６が、Ｓ１３０５で算出された特徴色情報について可視光画像のフレーム間で比較する。例えば可視光画像の被写体領域から特徴色情報を算出した場合、図１５（ａ）の可視光画像のフレーム間で共通の被写体領域内の色情報が特徴色情報として算出され、これらの特徴色情報のフレーム間の変化量が求められる。

Ｓ１３１３では、色補正部１２１６は、Ｓ１３１２で求められた特徴色情報の変化量を重みづけ係数として、Ｓ１３１１で得られた特徴点の色情報を用いて、差分領域における色情報を補正する。

ここで、図１４（ａ）のｂ’点における色補正処理について説明する。

前のフレームにおける被写体領域は網線で示した部分である。この被写体領域は単一色を持つ物体であるとする。また、図１５（ａ）のような可視光画像の被写体領域に対して、被写体領域内の色情報をブロックごとに積分して求められた特徴色情報を（Ｒ１，Ｇ１，Ｂ１)とする。次に、ｂ’点を含むフレームにおいて同様に求められた特徴色情報を（Ｒ２，Ｇ２，Ｂ２）とする。これにより、例えばＳ＝Ｒ２／Ｒ１、Ｔ＝Ｇ２／Ｇ１、Ｕ＝Ｂ２／Ｂ１のように各色の特徴色情報の比率を重みづけ係数とする。

そして、ｂ点の色情報が（Ｒｂ，Ｇｂ，Ｂｂ）であるとすると、ｂ’点において補正される色情報は、ｂ点の色情報（Ｒｂ，Ｇｂ，Ｂｂ）に重みづけ係数（Ｓ，Ｔ，Ｕ）を乗算して得られる色情報（Ｓ*Ｒｂ、Ｔ*Ｇｂ、Ｕ*Ｂｂ）となる。

なお、本実施形態では、被写体が単一色を持つ場合を例示したが、複数の色情報を持つ場合は、特徴色を抽出する際に被写体領域内を任意の領域に分割しブロックごとに積分した結果を用いれば良い。この場合、次のフレームから得られる特徴色情報も複数になるので、特徴色同士の色変化係数は、図１５（ａ）に示す共通領域における特徴色情報から求めて、それぞれの平均値を重みづけ係数としても良い。

また、本実施形態では、特徴点の色情報から補正する画素位置の色情報を求めたが、もともと補正する画素位置にある色情報も用いて補正処理を行っても良い。

また、例えばフレームごとに画像全体を領域分割し、画像全体の特徴色情報を用いてフレームごとに求めた重みづけ係数を補間しても良い。これにより、例えば、次フレームで可視光画像の被写体領域がすべて暗部になった場合であっても、それより前のフレーム間の重みづけ係数の変化とそのフレームにおける画像全体の特徴色情報から重みづけ係数を求めることができる。よって、色補正によって生じるフレーム間の違和感を軽減することが可能となる。

なお、フレーム間の特徴色情報の変化量を重みづけ係数とした理由は、可視光画像の暗部領域以外の領域についてフレーム間の輝度信号や色差信号と同じような変化量で補正データを生成することで、フレーム間の色変化に違和感が発生しないようにするためである。

また、色補正処理にＲＧＢデータを用いたがＹＵＶデータとして演算しても良い。この場合、輝度信号と色差信号で異なる重みづけ係数によって補正データを生成することも考えられる。

上述したように、本実施形態による可視光画像の暗部領域の色補正処理が実行される。

ここで、第１および第２の可視光画像１２００、１２０１は、第１の現像処理部２０１の出力をそのまま使用する場合やメモリ１１４から読み出す場合が考えられる。更に、メモリ１１４から読み出す場合には、既に前のフレームの暗部領域の色補正処理が実行された可視光画像データをメモリ１１４から読み出して、次のフレームの暗部領域の色補正に用いることも可能である。この場合、図１４（ｃ）に示す既に補正済みのＢ点からＢ’点の色情報が補正され、同様にＢ’点からＢ’’点の色情報が補正されるため、通常の可視光画像の撮影では失われてしまう暗部領域の色情報が補正されながらフレーム間で受け継がれていくため、暗部領域の色情報を再現するための有効な手段となり得る。

以上のように、本実施形態によれば、暗いシーンの動画撮影において被写体周辺の光量と被写体の動きによって、被写体領域の一部に暗部領域が発生しても、暗部領域の色情報を補正しながら動画を記録することが可能となる。

なお、本実施形態では、可視光と赤外光で光学系を共通とし、光学フィルタで光の波長帯域を分離する構成としたが、例えば可視光と赤外光で異なる光学系を持つような構成にしても良い。

また、本実施形態では、時間的に前後するフレーム間での処理を説明したが、数フレーム分の画像データをメモリ１１４に蓄積し、数フレーム間にわたって色補正処理を行っても良い。例えば、図２１に示すように被写体２１０１が暗い領域２１０２から明るい領域２１０３へ移動する場合を考える。この場合、図２１（ｂ）の赤外光画像の前フレームのｃ点から次フレームのｃ’点が予測できているにもかかわらず、図２１（ａ）の可視光画像におけるａ点は、次フレームのａ’点からは十分な色情報を取得することができない。このような場合は、赤外光画像の前フレームのｃ点から次フレームのｃ’点を予測した後、ｃ点とｃ’点が図２２（ａ）に示す共通領域に含まれない場合は、ａ点を含む可視光画像のフレームと、ｃ点を含む赤外光画像のフレームをメモリ１１４に保持しておく。この場合、図２２（ｂ）に示す可視光画像と赤外光画像の差分領域を用いてフレームを保持するか否かを判定しても良い。

その後、赤外光画像のｃ’点を含むフレームと次フレームについても同様の判定処理を行い、例えば図２１（ｂ）のｃ’’点が、図２２（ａ）の共通領域に含まれる場合、ａ’’点から色情報を抽出してａ’点の色情報を補正する。ａ’点の色情報が補正された場合は、その後にａ点の色情報を補正する。

このように、複数フレームにわたる画素移動位置情報と、可視光画像と赤外光画像の共通領域情報または差分領域情報とを用いることで、図２１に示すように被写体が暗い領域から明るい領域へ移動するシーンであっても暗部領域の色補正を行うことができる。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１０１…第１の撮像部、１０４…信号処理部、１０７…ＣＰＵ、１０８…第２の撮像部、２０４…補正処理部、３０１…可視光画像取得部、３０２…赤外光画像取得部、３０４、１２１６…色補正部、１２１２…形状変化取得部、１２１３…画素移動位置推定部

Claims (10)

1. 第１の波長の光から生成された第１の画像を所定のフレームレートで取得する第１の画像取得手段と、
   第２の波長の光から生成された第２の画像を所定のフレームレートで取得する第２の画像取得手段と、
   前記第１の画像の第１のフレームから検出された被写体領域と、前記第１のフレームに対応する前記第２の画像の第３のフレームから検出された被写体領域との、差分領域を検出する検出手段と、
   前記第２の画像の前記第３のフレームから検出された被写体領域と第４のフレームから検出された被写体領域との動きベクトルを求める算出手段と、
   前記第１の画像の前記第１のフレームのうち、前記差分領域に含まれる第１の画素の位置に対応する、前記第２の画像の第４のフレームに対応する前記第１の画像の第２のフレームにおける推定位置を、前記動きベクトルに基づいて求める推定手段と、
   前記第２のフレームから検出された被写体領域の色情報と前記第１のフレームから検出された被写体領域の色情報の比率、および、前記第２のフレームの前記推定位置の画素における色情報に応じて、前記第１の画像の前記第１のフレームの前記第１の画素の色情報を補正する補正手段と、を有することを特徴とする画像処理装置。
2. 前記差分領域は、前記第２の画像の前記第３のフレームからは検出されるが、前記第１の画像の前記第１のフレームからは検出されない被写体領域であることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の画像の前記第２のフレームは、前記第１の画像の前記第１のフレームよりも、検出された被写体領域が大きいフレームであることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補正手段は、前記第２のフレームから検出された被写体領域の色情報に対する前記第１のフレームから検出された被写体領域の色情報の比率を、前記第２のフレームの前記推定位置の画素における色情報に乗算することで、前記第１の画像の前記第１のフレームの前記第１の画素の色情報を補正することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記補正手段は、前記第１の画像の第１のフレームから検出された被写体領域と前記第２のフレームから検出された被写体領域との差分と、前記第２の画像の第３のフレームから検出された被写体領域と前記第４のフレームから検出された被写体領域との差分との違いが、閾値よりも大きい場合に、前記第１の画像の前記第１のフレームの前記第１の画素の色情報を補正することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記第１の波長の光は可視光を含み、前記第２の波長の光は赤外光を含むことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 第１の波長の光から生成された第１の画像を所定のフレームレートで生成する第１の撮像素子と、
   第２の波長の光から生成された第２の画像を所定のフレームレートで生成する第２の撮像素子と、
   前記第１の画像の第１のフレームから検出された被写体領域と、前記第１のフレームに対応する前記第２の画像の第３のフレームから検出された被写体領域との、差分領域を検出する検出手段と、
   前記第２の画像の前記第３のフレームから検出された被写体領域と第４のフレームから検出された被写体領域との動きベクトルを求める算出手段と、
   前記第１の画像の前記第１のフレームのうち、前記差分領域に含まれる第１の画素の位置に対応する、前記第２の画像の第４のフレームに対応する前記第１の画像の第２のフレームにおける推定位置を、前記動きベクトルに基づいて求める推定手段と、
   前記第２のフレームから検出された被写体領域の色情報と前記第１のフレームから検出された被写体領域の色情報の比率、および、前記第２のフレームの前記推定位置の画素における色情報に応じて、前記第１の画像の前記第１のフレームの前記第１の画素の色情報を補正する補正手段と、を有することを特徴とする撮像装置。
8. 第１の波長の光から生成された第１の画像を所定のフレームレートで取得し、
   第２の波長の光から生成された第２の画像を所定のフレームレートで取得し、
   前記第１の画像の第１のフレームから検出された被写体領域と、前記第１のフレームに対応する前記第２の画像の第３のフレームから検出された被写体領域との、差分領域を検出し、
   前記第２の画像の前記第３のフレームから検出された被写体領域と第４のフレームから検出された被写体領域との動きベクトルを求め、
   前記第１の画像の前記第１のフレームのうち、前記差分領域に含まれる第１の画素の位置に対応する、前記第２の画像の第４のフレームに対応する前記第１の画像の第２のフレームにおける推定位置を、前記動きベクトルに基づいて算出し、
   前記第２のフレームから検出された被写体領域の色情報と前記第１のフレームから検出された被写体領域の色情報の比率、および、前記第２のフレームの前記推定位置の画素における色情報に応じて、前記第１の画像の前記第１のフレームの前記第１の画素の色情報を補正することを特徴とする画像処理方法。
9. コンピュータを、請求項１から６のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
10. コンピュータを、請求項１から６のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。