JP7299762B2 - 画像処理装置および方法、撮像装置、プログラム - Google Patents

Description

本発明は、画像処理装置および方法、撮像装置に関する。

一般に、可視光撮像と赤外光撮像とを行うことができるように構成した撮像装置が知られている。特許文献１では、可視光成分と赤外光成分に感度を有する撮像素子を用いて、可視光成分と赤外光成分に基づいて輝度信号を生成し、可視光成分に基づいて色差信号を生成し、生成された輝度信号と利得を上げた色差信号を出力する撮像装置が提案されている。

特開２０１３－２５５１４４号公報

特許文献１に開示された技術では、輝度信号により色差信号の利得（彩度）を制御している。しかしながら、特許文献１では、可視光画像と赤外光画像を合成して得られる輝度信号を生成する際に、色に応じて輝度の変化量が異なることが考慮されていない。そのため、色によって、輝度信号に対して彩度が高くなりすぎたり、低くなりすぎたりしてしまい、輝度信号と色差信号を適切に合成した画像を得ることができない。

本発明は、可視光画像と赤外光画像から適切な色表現の合成画像を生成する技術を提供する。

本発明の一態様による画像処理装置は以下の構成を備える。すなわち、
可視光画像と赤外光画像を取得する取得手段と、
前記可視光画像の色成分を用いて合成画像の色成分を生成し、前記赤外光画像と前記可視光画像の輝度成分を用いて前記合成画像の輝度成分を生成する合成手段と、を備え、
前記合成手段は、前記可視光画像の色成分に含まれる色相または彩度に基づいて決定される補正係数を用いて、前記合成画像の色成分または輝度成分を補正し、
前記色相の赤成分または青成分が多くなるほど大きくなる前記補正係数を用いて前記合成画像の彩度を補正し、
前記可視光画像と前記赤外光画像の輝度成分の合成割合にさらに基づいて前記合成画像の色成分を補正する。

本発明によれば、可視光画像と赤外光画像から適切な色表現の合成画像を生成することができる。

第１実施形態による撮像装置の構成例を示すブロック図。 第１実施形態の画像処理部の機能構成例を示すブロック図。 色相環を表す図。 （ａ）はカラーチャートを撮像した可視光画像の例を示す図、（ｂ）はカラーチャートを撮像した赤外光画像の例を示す図。 （ａ）（ｂ）は、第１実施形態による補正データテーブルの例を示す図、（ｃ）は輝度信号の合成割合を示す図。 第１実施形態による画像処理部の処理を示すフローチャート。 （ａ）（ｂ）は、第２実施形態による補正データテーブルの例を示す図。 第２実施形態の画像処理部の処理を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１実施形態］
＜撮像装置の構成＞
第１実施形態における撮像装置の全体の構成について、図１を用いて説明する。図１は第１実施形態の撮像装置であるデジタルカメラの構成例を示すブロック図である。レンズ群１０において、対物レンズ１０１、絞り１０２、フォーカスレンズ１０３が光軸Ｏ１上に順次に配列されている。レンズ群１０の後方に、波長分離のためのダイクロイックミラー２０が配置されている。ダイクロイックミラー２０は、可視光成分を透過し赤外光成分を反射する。ダイクロイックミラー２０を透過した可視光成分は、ダイクロイックミラー２０の後方に配置された可視光撮像素子３０により光電変換され、画像化される。一方、ダイクロイックミラー２０で反射された赤外光成分は光軸Ｏ２を通り、赤外光撮像素子４０により光電変換され、画像化される。画像処理部５０は、可視光撮像素子３０および赤外光撮像素子４０から出力された可視光信号（画像）と赤外光信号（画像）とを合成し、合成画像を生成、出力する。

可視光撮像素子３０と赤外光撮像素子４０は、略共役な位置に配置されている。ただし、波長差に起因した合焦位置のずれを吸収するために、赤外光撮像素子４０が光路上の、共役な位置からずれた位置に配置されていても構わない。また、第１実施形態において、ダイクロイックミラー２０により可視光成分と赤外光成分が分離される構成となっているがこれに限られるものではない。たとえば、時系列に不図示の赤外カットフィルター（ＩＲＣＦ）を抜き差しして撮像する構成、あるいは、可視光画像と赤外光画像をそれぞれ別のカメラ（撮像素子）により撮像する構成であってもよい。すなわち、可視光画像と赤外光画像を取得できる構成であれよく、その具体的な構成は限定されない。また、赤外光画像は赤外光成分だけを取り込むものでもよいし、可視光成分と赤外光成分をともに取り込むものでも構わない。

以上のように撮像装置を構成することにより、可視光成分を画像化した可視光画像と赤外光成分を画像化した赤外光画像とを同時に、且つ、同一の画角で撮像することができる。

＜画像処理部５０の構成＞
次に、画像処理部５０について図２を参照して説明する。図２は、第１実施形態における画像処理部５０の機能構成例を示すブロック図である。可視光撮像部５０１は、可視光撮像素子３０より出力された可視光信号をＲＧＢ信号に変換して可視光画像を生成する。可視光画像処理部５０２は、ＲＧＢ信号に対してγ補正や色空間変換などの画像処理を実行した後、処理後のＲＧＢ信号を輝度信号Ｙと色差信号ＣｂＣｒの形式の可視光画像に変換して出力する。また、赤外光撮像素子４０より出力された赤外光信号は、赤外光撮像部５０３によりモノクロの画像としてＹ信号のみの形式で画像化され出力される。赤外光画像処理部５０４は、Ｙ信号についてγ補正などの画像処理を行い、赤外光が像を生成する。以上の可視光撮像部５０１、可視光画像処理部５０２、赤外光撮像部５０３、赤外光画像処理部５０４は、可視光画像と赤外光画像を取得する構成の一例である。

色差信号生成部５０６は可視光画像の色成分を用いて合成画像の色成分を生成する。輝度信号生成部５０５は赤外光画像と可視光画像の輝度成分を用いて合成画像の輝度成分を生成する。合成処理部５０７は、色差信号生成部５０６が生成した色成分と輝度信号生成部５０５が生成した輝度成分を、合成画像として出力する。ここで、色差信号生成部５０６は、可視光画像の色成分に基づいて決定される補正係数を用いて、合成画像の色成分を補正する。以下、輝度信号生成部５０５、色差信号生成部５０６、合成処理部５０７について、より詳細に説明する。

輝度信号生成部５０５は、可視光画像処理部５０２で生成された可視光画像と、赤外光画像処理部５０４で生成された赤外光画像を合成して輝度信号を生成する。ここで輝度信号は例として以下の（式１）のように算出される。(式１)によれば、可視光画像の輝度信号Ｙ_可視と赤外光画像の輝度信号Ｙ_赤外とがαブレンドされる。なお、ブレンド係数であるα_１を図５（ｃ）に示す。図５（ｃ）に示されるように、可視光画像が明るい場合には合成割合α_１が小さくなり、可視光画像の輝度信号が重視される。また、可視光画像が暗い場合は、赤外光画像の輝度信号に応じて合成割合α_１が変化する。

Ｙ_合成＝α_１×Ｙ_赤外＋（１－α_１）×Ｙ_可視 ...（式１）
Ｙ_合成：合成後の輝度信号
Ｙ_可視：可視光画像の輝度信号
Ｙ_赤外：赤外光画像の輝度信号
α_１：赤外光画像の合成割合

色差信号生成部５０６は、可視光画像処理部５０２で生成された色差信号を、色差信号により示される色相と彩度、および輝度信号生成部５０５で用いられた合成割合α_１の少なくとも一つに応じて補正する。本実施形態では、彩度が補正される。ここでは例として以下の（式２）のように算出される。（式２）では、輝度信号の差分（Ｙ_赤外－Ｙ_可視）に、色相に応じた補正係数β_１と彩度に応じた補正係数γ_１をかけて彩度を調整している。

Ｃ_合成＝β_１×γ_１×α_１×（Ｙ_赤外－Ｙ_可視）×Ｃ_可視 ...（式２）
Ｃ_合成：合成後の色差信号（彩度）
Ｃ_可視：可視光画像の色差信号（彩度）
Ｙ_赤外：赤外光画像の輝度信号
Ｙ_可視：可視光画像の輝度信号
α_１：赤外光画像の合成割合
β_１：色相に応じた補正係数
γ_１：彩度に応じた補正係数

また、(式２)では赤外光画像の輝度信号と可視光画像の輝度信号の差分（Ｙ_赤外－Ｙ_可視）にβ_１、γ_１の係数をかけて彩度を調整したが、これに限られるものではない。たとえば、カラーフィルタの特性などに応じて、以下の（式３）のように赤外光画像の輝度信号と可視光画像の輝度信号との比（Ｙ_赤外／Ｙ_可視）に応じてＣ_合成を補正するようにしてもよい。すなわち、合成画像の彩度の補正には、補正可視光画像の輝度と赤外光画像の輝度との差または比が大きいほど大きくなる補正係数が用いられてもよい。
Ｃ_合成＝β_１×γ_１×α_１×（Ｙ_赤外／Ｙ_可視）×Ｃ_可視 ...（式３）

上述の補正係数β_１とγ_１に関して、図３～図５を用いて説明する。図３は色相環を表わしている。０が黄色で、数字が増加する方向に赤、紫、青、深緑、黄緑と色相が変化している。図４（ａ）はカラーチャートを撮像した可視光画像、図４（ｂ）はそのカラーチャートを撮像した赤外光画像である。図４（ａ）と図４（ｂ）から分かるように、赤外光成分では、可視光成分に比べて赤や青の輝度が大きく上がってしまう。青に関しては、センサのカラーフィルタの影響で可視光成分では輝度が低いのに対して赤外光成分では他のＧＲ成分とのフィルタによる感度差が少なくなり他の色に対して相対的に輝度が上がる。また、赤に関しては、赤外光成分になるとカラーフィルタの特性上Ｒ成分のフィルタは近赤外成分も多く取り込まれるため、可視光成分に対して輝度が大きく上がってしまう。

図５（ａ）は、色相に応じた補正係数β_１を保持する補正データテーブルの例を示している。図３で示した色相ごとに彩度の補正係数をテーブル化して持っている。なお、テーブルに保持されている色相の間（例えば、色相０（黄）と色相１（赤）の間）の補正係数を、線形補間などにより求めるようにしてもよい。前述のように、特徴としては赤や青、紫は赤外光成分による輝度信号の増化の影響を受けやすいため、補正係数β_１が大きくなっている。すなわち、補正係数β_１は、色相の赤成分または青成分が多くなるほど大きくなる補正係数である。

また、低照度時などゲインが多くかかっている状態においては、α_１、β_１、で彩度を大きく補正しすぎてしまうと色ノイズを強調しすぎてしまう場合がある。そのため、ゲインによっては補正量にリミットをかけるとよい。また、彩度に関しては、彩度が十分高い場合には輝度信号の増加による影響が少なくなり、輝度信号に合わせて上げてしまうとＲＧＢ成分が飽和してしまい、色相が曲がってしまうこともある。そのため、彩度の高さに応じて補正係数を変更するとよい。彩度に応じた補正係数γ_１を保持する補正データテーブルの例を図５（ｂ）に示す。補正係数γ_１は、可視光画像の彩度が高いほど小さくなる補正係数である。また、補正係数を変更する方法でなく、彩度に応じて補正量にリミットをかけ（例えば、彩度が所定値より高くなった場合に彩度の補正量を所定値以下にする）、飽和を防止するようにしてもよい。

合成処理部５０７は輝度信号生成部５０５からの輝度信号と色差信号生成部５０６からの色差信号を合成して、合成画像として出力する。なお、本実施形態では、色空間としてＹＣｂＣｒを用いたが、これに限られるものではなく、ＲＧＢ、ＹＵＶなど他の色空間が用いられてもよい。

＜画像処理部５０の動作について＞
以上のような構成を備えた、第１実施形態における画像処理部５０の動作を図６のフローチャートを参照して説明する。Ｓ６０１において、可視光撮像部５０１は、可視光撮像素子３０からの可視光信号をＲＧＢ信号に変換して可視光画像を得る（可視光撮像）。Ｓ６０２において、可視光画像処理部５０２は、Ｓ６０１で取得された可視光画像（ＲＧＢ信号）に対してγ補正や色空間変換などの画像処理を実行した後、輝度信号Ｙと色差信号ＣｂＣｒからなる可視光画像に変換し、出力する。

Ｓ６０３において、赤外光撮像部５０３は、赤外光撮像素子４０からの画像に基づいて輝度信号Ｙのみからなる赤外光画像を得る（赤外光撮像）。Ｓ６０４において、赤外光画像処理部５０４は、Ｓ６０３で得られた赤外光画像に対してγ補正などの画像処理を実行した後、輝度信号Ｙからなる赤外光画像を出力する。なお、Ｓ６０１～Ｓ６０２による可視光画像の取得とＳ６０３～Ｓ６０４による赤外光画像の取得は並列に実行されてもよいし、赤外光画像の取得が先に実行されてもよい。

Ｓ６０５において、輝度信号生成部５０５は、可視光画像処理部５０２で生成された可視光画像と、赤外光画像処理部５０４で生成された赤外光画像とを（式１）を用いて合成し、合成画像の輝度信号を生成する。Ｓ６０６において、色差信号生成部５０６は、可視光画像処理部５０２で生成された可視光画像の色差信号を合成画像の色差信号として用いる。この際、色差信号生成部５０６は、可視光画像の色差信号から得られる彩度を、当該色差信号から得られる色相と彩度、輝度信号生成部５０５で用いられた合成割合α_１の少なくとも一つに応じて補正する。本実施形態では、（式２）または（式３）を用いて彩度が補正される。色差信号は、色相と補正後の彩度を用いて、合成画像の色差信号を生成する。

なお、低照度時などゲインが多くかかっている状態において彩度を大きく補正すると色ノイズを強調してしまう場合がある。また、彩度が高い状態において輝度信号に合わせて彩度を上げてしまうとＲＧＢ成分が飽和してしまい、色相が曲がってしまうこともある。そのため、Ｓ６０６において、色差信号生成部５０６は、ゲインによっては彩度の補正量にリミットをかけるようにしてもよい。その後、Ｓ６０７において、合成処理部５０７は、輝度信号生成部５０５からの輝度信号と色差信号生成部５０６からの色差信号とを合成し、合成画像として出力する。

以上のように、第１実施形態によれば、可視光画像と赤外光画像の合成画像を適切な色表現で生成することができる。

［第２実施形態］
第１実施形態では、色相、彩度に応じて、色差信号（彩度）を補正する構成を説明した。第２実施形態では、色相、彩度に応じて、輝度信号を補正する構成を説明する。第２実施形態における撮像装置の構成は第１実施形態（図１）と同様である。また、画像処理部５０の機能構成も第１実施形態（図２）と同様である。ただし、第２実施形態の輝度信号生成部５０５は、色差信号生成部５０６から色差信号ＣｂＣｒを取得し、この色差信号から取得される明度と彩度に応じた補正係数を用いて合成画像の輝度信号を補正する。

輝度信号生成部５０５による輝度信号の補正処理について、より具体的に説明する。輝度信号生成部５０５は、可視光画像処理部５０２から取得される可視光画像の輝度信号Ｙ_可視と、赤外光画像処理部５０４から取得される赤外光画像の輝度信号Ｙ_赤外とをαブレンドにより合成して、合成画像の輝度信号を生成する。この合成の際に、輝度信号生成部５０５は、色差信号生成部５０６から取得される色差情報に応じて、たとえば以下の（式４）のように合成後の輝度信号を算出する。

Ｙ_合成＝β_２×γ_２×（α_２×Ｙ_赤外＋（１－α_２）×Ｙ_可視） ...（式４）
Ｙ_合成：合成語の輝度信号
Ｙ_可視：可視光画像の輝度信号
Ｙ_赤外：赤外光画像の輝度信号
α_２：赤外光画像の合成割合
β_２：色相に応じた補正係数
γ_２：彩度に応じた補正係数

α_２は、β_２、γ_２はそれぞれ色相、彩度に応じた補正係数である。図７（ａ）に、色相に応じて変化する補正係数β_２を保持する補正データテーブルを示す。また、図７（ｂ）に、彩度に応じて変化する補正係数γ_２を保持する補正データテーブルを示す。色相、彩度ごとに輝度の補正係数β_２、γ_２がテーブル化して保持されている。

図４（ａ）（ｂ）で説明したように、赤外光成分では、可視光成分と比べて赤や青の輝度が大きく上がってしまう。そこで、赤や青に関して輝度の上りすぎを抑えるため、補正係数を小さくし、黄や緑に対して補正係数を大きくすることにより、色差信号に対して最適な輝度信号に合せることができる。したがって、図７（ａ）に示されるように、赤成分または青成分が多い色相よりも、緑成分の多い色相の方が大きくなる補正係数β_２が用いられる。また、図７（ｂ）に示されるように、補正係数γ_２は、彩度が高いほど大きくなる。

また、低照度時などゲインが多くかかっている状態においては、α_２、β_２、γ_２で輝度を大きく補正しすぎてしまうと輝度ノイズを強調しすぎてしまう場合がある。そのため、撮像時のゲインに応じて補正量にリミットをかけるようにしてもよい。

色差信号生成部５０６は可視光画像処理部５０２で生成された色差信号を合成処理部５０７に出力する。合成処理部５０７は、輝度信号生成部５０５からの輝度信号と色差信号生成部５０６からの色差信号を合成して、合成画像として出力する。なお、第１実施形態と同様に、色空間はＹＣｂＣｒに限られるものではなく、ＲＧＢ，ＹＵＶなど他の色空間であっても構わない。

＜画像処理部５０の動作について＞
第２実施形態における画像処理部５０の動作を図８のフローチャートを参照して説明する。Ｓ８０１～Ｓ８０４の処理は、第１実施形態（図６のＳ６０１～Ｓ６０４）と同様である。Ｓ８０５において、色差信号生成部５０６は、可視光画像処理部５０２で生成された色差信号から合成後の色差信号を生成する。合成後の色差信号は、可視光画像処理部５０２で生成された色差信号であってもよいし、第１実施形態（Ｓ６０６）で説明したように、補正された色差信号であってもよい。Ｓ８０６において、輝度信号生成部５０５は、可視光画像処理部５０２で生成された可視光画像の輝度信号と、赤外光画像処理部５０４で生成された赤外光画像の輝度信号を用いて合成画像の輝度信号を生成する。この際、輝度信号生成部５０５は、色差信号生成部５０６からの色差情報に基づいて、合成画像の輝度信号を補正する。

なお、低照度時などでゲインが多くかかっている状態において、（式４）により輝度を大きく補正すると輝度ノイズを強調してしまう場合がある。そのため、Ｓ８０６において、輝度信号生成部５０５は、ゲインに応じて補正量にリミットをかけるようにしてもよい。Ｓ８０７において、合成処理部５０７は、輝度信号生成部５０５からの輝度信号と色差信号生成部５０６からの色差信号を合成し、合成画像として出力する。

以上説明したように、上記各実施形態によれば、可視光画像の色相、彩度の少なくとも一つに応じて、輝度信号もしくは色差信号を補正することで、各色に応じて適切な輝度信号と色差信号を合成した画像を提供することができる。

［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えばＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０：レンズ群、２０：ダイクロイックミラー、３０：可視光撮像素子、４０：赤外光撮像素子、５０：画像処理部、Ｏ１，Ｏ２：光路、１０１：対物レンズ、１０２：絞り、１０３：フォーカスレンズ

Claims (12)

1. 可視光画像と赤外光画像を取得する取得手段と、
   前記可視光画像の色成分を用いて合成画像の色成分を生成し、前記赤外光画像と前記可視光画像の輝度成分を用いて前記合成画像の輝度成分を生成する合成手段と、を備え、
   前記合成手段は、前記可視光画像の色成分に含まれる色相または彩度に基づいて決定される補正係数を用いて、前記合成画像の色成分または輝度成分を補正し、
   前記色相の赤成分または青成分が多くなるほど大きくなる前記補正係数を用いて前記合成画像の彩度を補正し、
   前記可視光画像と前記赤外光画像の輝度成分の合成割合にさらに基づいて前記合成画像の色成分を補正することを特徴とする画像処理装置。
2. 色相または彩度に応じて前記補正係数が保持された補正データテーブルをさらに備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記合成手段は、前記可視光画像の輝度と前記赤外光画像の輝度との差または比が大きいほど大きくなる補正係数を用いて前記合成画像の彩度を補正することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記合成手段は、前記可視光画像の彩度が高いほど小さくなる補正係数を用いて前記合成画像の彩度を補正することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記合成手段は、前記可視光画像の彩度が所定値よりも高くなると、前記彩度の補正量を所定値以下に抑えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記合成手段は、赤成分または青成分が多い色相よりも、緑成分の多い色相の方が大きくなる補正係数を用いて前記合成画像の輝度成分を補正することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記合成手段は、彩度が大きいほど大きくなる補正係数を用いて前記合成画像の輝度成分を補正することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記合成手段は、撮像時に所定値よりも大きいゲインがかけられている場合に、前記補正係数を所定値以下に抑えて前記合成画像の輝度成分を補正することを特徴とする請求項６または７に記載の画像処理装置。
9. 請求項１乃至８のいずれか１項に記載された画像処理装置と、
   前記可視光画像と前記赤外光画像を撮像する撮像手段と、を備えることを特徴とする撮像装置。
10. 前記撮像手段は、前記可視光画像と前記赤外光画像を同時に、かつ同一の画角で撮像することを特徴とする請求項９に記載の撮像装置。
11. 可視光画像と赤外光画像を取得する取得工程と、
    前記可視光画像の色成分を用いて合成画像の色成分を生成し、前記赤外光画像と前記可視光画像の輝度成分を用いて前記合成画像の輝度成分を生成する合成工程と、を備え、
    前記合成工程では、前記可視光画像の色成分に含まれる色相または彩度に基づいて決定される補正係数を用いて、前記合成画像の色成分または輝度成分を補正し、
    前記色相の赤成分または青成分が多くなるほど大きくなる前記補正係数を用いて前記合成画像の彩度を補正し、
    前記可視光画像と前記赤外光画像の輝度成分の合成割合にさらに基づいて前記合成画像の色成分を補正することを特徴とする画像処理方法。
12. 請求項１乃至８のいずれか１項に記載された画像処理装置の各手段としてコンピュータを機能させるためのプログラム。

Images