JP7136077B2 - 画像処理装置及び撮像装置 - Google Patents

Description

本開示は、画像処理装置及び撮像装置に関する。

複数のデジタル画像からＨＤＲ画像を作成する技術として、カメラの感度（露出）を変えて同一被写体を撮像し、得られた複数の画像を合成してＨＤＲ画像を作成する技術がある。例えば下記の特許文献１には、複数の光学ブロックに対応する複数の撮像系を備え、撮像系ごとに輝度に対する感度をそれぞれ異ならせた複眼カメラによって対象物を撮像し、得られた複数の画像を合成して、ＨＤＲ画像を作成する技術が開示されている。

特開２００２－１７１４３０号公報

しかし、上記特許文献１に記載されている技術では、低い感度のカメラにおいて階調が劣化する場合がある。特にカラー画像を撮影するカメラが低感度であると、階調が劣化することによりＨＤＲ画像の画質が低下する問題がある。

そこで、同一の被写体について白黒画像とカラー画像を撮像することで感度の異なる画像を得る場合に、カラー画像の階調劣化を低減することが求められていた。

本開示によれば、白黒画像の輝度信号と、前記白黒画像と同一の被写体を撮像して得られるカラー画像のクロマ信号とを取得し、前記輝度信号に基づいて、前記クロマ信号の階調を制御する階調制御部を備える、画像処理装置が提供される。

また、本開示によれば、被写体の白黒画像を撮像する第１の撮像素子と、前記被写体のカラー画像を撮像する第２の撮像素子と、前記白黒画像の輝度信号と、前記カラー画像のクロマ信号とを取得し、前記輝度信号に基づいて、前記クロマ信号の階調を制御する画像処理装置と、を備える、撮像装置が提供される。

以上説明したように本開示によれば、同一の被写体について白黒画像とカラー画像を撮像することで感度の異なる画像を得る場合に、カラー画像の階調劣化を低減することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本実施形態の原理を示す模式図である。 本実施形態の第１の構成例に係る画像処理装置とその周辺の構成を示す模式図である。 本実施形態の第２の構成例に係る画像処理装置とその周辺の構成を示す模式図である。 ＨＤＲ合成部の構成を示す模式図である。 正規化部で行われる処理を示す模式図である。 階調制御部の構成例を示す模式図である。 ガイド信号の機能を示す模式図である。 階調制御部の別の構成例を示す模式図である。 階調劣化とα値との関係を規定したマップを示す特性図である。 図９の階調復元部の構成を示す模式図である。 マップ値αに基づいてローパスフィルタのフィルタ係数を切り換える例を示す模式図である。 フィルタ係数切換部がローパスフィルタのフィルタ係数を切り換える際に使用するテーブルを示す模式図である。 階調制御部の別の構成例を示す模式図である。 分類部の構成を示す模式図である。 マップ値αに対応する分類番号を規定したテーブルを示す模式図である。 フィルタリング処理を示す模式図である。 図２に示した第１の構成例に係る処理を示すフローチャートである。 図３に示した第２の構成例に係る処理を示すフローチャートである。 図６に示した階調制御部による処理を示すフローチャートである。 図８に示した階調制御部による処理を示すフローチャートである。 図８の階調復元部による処理を示すフローチャートである。 図１３に示した学習のフレームワークを使用して階調復元を行う場合の処理を示すフローチャートである。 図１７のステップＳ１８の処理を説明するための模式図である。 図２３Ａにおいて、バイリニア補間を行った場合を示す模式図である。 複数台のカメラのそれぞれで長畜画像、短畜画像に相当する露光差を有する撮像をすることで露光パターンを増やした例を示す模式図である。 長畜画像に相当する白黒画像の撮像素子による撮像の露光時間を図１よりも長くした例を示す模式図である。 ビームスプリッタを使用した例を示す模式図である。 白黒画像の更なる高感度化を図るためにＩＲ（赤外線）カットフィルタを用いない例を示す模式図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本実施形態の原理
２．第１の構成例に係る画像処理装置
３．第２の構成例に係る画像処理装置
４．ＨＤＲ合成部の構成例
５．階調制御部の構成例
６．本実施形態で行われる処理について
７．本実施形態による効果
８．本実施形態のバリエーションについて

１．本実施形態の原理
本実施形態は、カラーのイメージセンサ(Ｂａｙｅｒ ＩＳ)と白黒画像のイメージセンサ（Ｂ／Ｗ ＩＳ）のを使ってＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）合成をする処理に関する。白黒イメージセンサの特徴である高感度性能を利用して、動被写体部のブレ軽減を目的としたＨＤＲ合成を行う。

図１は、本実施形態の原理を示す模式図である。図１は、白黒画像の撮像素子１１００とカラー画像の撮像素子１２００を用い、同一時刻で同一露光時間の撮像を行う場合を示す。この場合、白黒画像の撮像素子１１００の方がカラー画像の撮像素子１２００よりも感度が高いため、白黒画像の撮像素子１１００の画素は長時間露光画素（長畜画像（２））に相当し、カラー画像の撮像素子１２００の画素は短時間露光画素（短畜画像（１））に相当する。例えば、白黒画像の撮像素子１１００がカラー画像の撮像素子１２００に対して４倍の感度を有していれば、露光差４倍でＨＤＲ用の露光差撮影が可能である。これにより、同じ時間帯で撮影された長畜画像と短畜画像を合成することが可能となり、特に動きのある被写体（動被写体）を撮像した際に、ブレの発生を抑えることが可能となる。

一方、カラー画像の撮像素子１２００を１つ用い、異なる時刻、異なる露光時間で短時間露光と長時間露光を順次に行った場合、短畜画像と長畜画像は撮像された時刻が異なるため、特に動被写体を撮像した際に、ブレが生じてしまう。

従って、図１に示す本実施形態の手法によれば、動被写体であってもブレの無いＨＤＲ合成が可能となる。長畜画像、短畜画像に相当するカメラ（撮像素子）の割り当てとしては、高感度カメラを長畜画像に割り当てる。従って、白黒画像の撮像素子１１００で長畜画像相当の画像を撮像し、カラー画像の撮像素子１２００で短畜画像相当の画像を撮像する。なお、白黒画像の撮像素子１１００とカラー画像の撮像素子１２００の双方を使用するため、合成に際しては、両画像の視差を検出して位置合わせを行う。以下、本実施形態の具体的な構成について説明する。

２．第１の構成例に係る画像処理装置
図２は、本実施形態の第１の構成例に係る画像処理装置１０００とその周辺の構成を示す模式図である。図２に示す構成は、輝度のみでＨＤＲ合成を行うものであり、このため、演算効率が高いものとされている。画像処理装置１０００は、変換部１００、視差補正部１１０、ＨＤＲ合成部１２０、階調階調制御部１３０を有して構成されている。

図２において、白黒画像の撮像素子１１００とカラー画像の撮像素子１２００は、図１に示した手法により撮像を行う。白黒画像の撮像素子１１００が被写体を撮像して得られた白黒画像の信号（輝度信号）は、視差補正部１１０に送られる。また、カラー画像の撮像素子１２００が被写体を撮像して得られたカラー画像のＲＧＢ信号は、変換部１００に送られる。変換部１００は、カラー画像のＲＧＢ信号をＹＵＶ信号に変換する。ＹＵＶ信号は、視差補正部１１０に送られる。

視差補正部１１０は、白黒画像の輝度信号と、カラー画像から得られたＹＵＶ信号とから視差を検出し、白黒画像の輝度信号とカラー画像の輝度信号との間の位置ズレを補正する。位置ズレが補正された白黒画像の輝度信号とカラー画像の輝度信号は、ＨＤＲ合成部１２０に送られる。また、位置ズレが補正されたカラー画像のクロマ信号（ＵＶ信号）は、階調制御部１３０に送られる。

ＨＤＲ合成部１２０は、入力された白黒画像の輝度信号を長畜画像とし、入力されたカラー画像の輝度信号を短畜画像として、両者をＨＤＲ合成する。これにより、ダイナミックレンジの拡大された輝度信号が出力される。このように、図２に示す構成では、輝度についてＨＤＲ合成を行うため、演算効率を高めることができる。

階調制御部１３０には、ダイナミックレンジの拡大された輝度信号が入力される。階調制御部１３０は、この輝度信号をガイド情報として、クロマ信号の階調を調整する。カラー画像の撮像素子１２００の露光時間が短い場合、カラー画像に黒潰れ等が生じる可能性があるが、ダイナミックレンジの拡大された輝度信号をガイド情報として、クロマ信号の階調を調整することで、黒潰れ等を解消することができる。以上のようにして階調制御部１３０から階調が調整されたクロマ信号が出力されると、ＨＤＲ合成部１２０から出力された輝度信号と併せて、ダイナミックレンジが拡大されたＹＵＶ信号を得ることができる。

３．第２の構成例に係る画像処理装置
図３は、本実施形態の第２の構成例に係る画像処理装置１０００とその周辺の構成を示す模式図である。図３に示す構成は、輝度信号とクロマ信号の両方でＨＤＲ合成を行うものである。但し、クロマ信号はカラー画像の撮像素子１２００側から得られた信号のみで生成されるため、ＨＤＲ合成をする意味はない。図３に示す構成では、既存のＨＤＲ合成処理ブロックを使いまわせる利点がある。

図３において、変換部１００、視差補正部１１０の処理は図２と同様である。視差補正部１１０により位置ズレが補正された白黒画像の輝度信号は、階調制御部１３０に送られる。また、階調制御部１３０には、変換部１００の変換で得られたクロマ信号が送られる。階調制御部１３０は、白黒画像の輝度信号をガイド信号としてクロマ信号の階調を調整する。これにより、クロマ信号が白黒画像の輝度信号とともにカラーの長畜画像となり、ＨＤＲ合成部１２０に入力される。

一方、変換部１００から出力されたＹＵＶ信号は、カラーの短畜画像としてＨＤＲ合成部１２０に入力される。ＨＤＲ合成部１２０は、入力されたカラーの長畜画像と短畜画像を用いて、通常の手法によりＨＤＲ合成を行う。

なお、本実施形態に係る撮像装置は、第１又は第２の構成例に係る画像処理装置１０００と、撮像素子１１００，１２００を有して構成される。

４．ＨＤＲ合成部の構成例
図４は、ＨＤＲ合成部１２０の構成を示す模式図である。ＨＤＲ合成部１２０では、一般的な手法を用いてＨＤＲ合成を行う。図４において、Ｚ１，Ｚ２，Ｚ３，・・・Ｚｎは画素値を示しており、ｎはカメラの台数である。各画素値は、カメラ応答関数１２２により非線形の画像信号を線形に戻すための処理が行われる。なお、入力が線形信号であればカメラ応答関数１２２による処理は不要である。

正規化部１２４は、明るさレベルを正規化する処理を行う。図５は、正規化部１２４で行われる処理を示す模式図である。図５では、標準露光、＋１ＥＶの露光、－１ＥＶの露光の３種類を行うものとする。図５の縦軸は明るさのレベルを示しており、センサのダイナミックレンジが４８ｄＢであるとすると、標準露光では０～４８ｄＢの明るさ（１０ビット分、１０２４倍の明るさ）の範囲で撮像が行われる。＋１ＥＶの長畜画像では、露光時間が長いため、より暗い所まで撮ることができる。また、－１ＥＶの短畜画像では、露光時間が短いため、より明るい所まで撮ることができる。

明るさレベルの正規化では、明るさを任意の基準（ここでは、標準露光に相当）に合わせる処理が行われる。正規化を行うことで、標準露光、＋１ＥＶの露光、－１ＥＶの露光の明るさレベルが揃えられ、＋１ＥＶの露光の露光ではダイナミックレンジが下側に拡張され、－１ＥＶの露光ではダイナミックレンジが上側に拡張される。これにより、標準露光、＋１ＥＶの露光、－１ＥＶの露光の各画像を合成することで、ダイナミックレンジを拡大することができる。

図４に戻り、合成部１２６では、正規化された明るさレベルＥ１，Ｅ２，・・・，Ｅｎを以下の式（１）により加算する処理を行う。なお、式（１）において、ｎはカメラ台数（撮影枚数）である。

５．階調制御部の構成例
図６は、階調制御部１３０の構成例を示す模式図である。階調制御部１３０は、白黒画像の輝度信号をガイドとして、クロマ信号に階調復元フィルタ１３２を適用することでクロマ信号の階調を復元する。階調復元フィルタ１３２として、以下に示すようなジョイントバイラテラル型のフィルタを使用することができる。

上式において、ｆはクロマ信号の入力画像、ｆ’はガイド画像（白黒画像の輝度値）、ｇはフィルタ処理後の出力画像、ｉ，ｊは中心画素位置、ｍ，ｎはフィルタタップ、ｗはフィルタ係数、σは強度パラメータを示している。また、ｗ_{ｓｐａｃｅ}（ｘ，ｙ）は空間ドメインに対する重みのフィルタ係数を示しており、フィルタ中心から遠い画素ほどフィルタ係数が小さくなる。また、ｗ_{ｃｏｌｏｒ}（ｘ，ｙ）は色レンジに対する重みのフィルタ係数を示しており、フィルタ中心と色(輝度)が異なるほど、フィルタ係数が小さくなる。また、ｘ，ｙは、フィルタ中心を原点としたタップ内の画素の位置を表す。

図７は、ガイド信号の機能を示す模式図である。図７に示すように、白黒画像の輝度信号（Ｂ／Ｗ）がステップエッジであり、クロマ信号がステップエッジである場合、フィルタの適用は無い。一方、白黒画像の輝度信号（Ｂ／Ｗ）がグラデーションであり、クロマ信号がステップエッジである場合、フィルタが適用されてクロマ信号がグラデーションとなる。従って、白黒画像の輝度信号をガイドとしてクロマ信号の階調を調整できる。

図８は、階調制御部１３０の別の構成例を示す模式図である。図８に示すように、階調制御部１３０は、微分部１３４ａ、微分部１３４ｂ、差分算出部１３６、マップ作成部１３８、階調復元部１３９を有して構成される。この構成では、微分部１３４ａ、微分部１３４ｂにより白黒画像の輝度信号とカラー画像のクロマ信号のそれぞれの微分値（微分画）を算出し、差分算出部１３６により両者の差分値ｄｉｆｆを求める。そして、マップ作成部１３８は、差分値を使って図９に示すマップを作成する。このマップは、縦軸のα値が１に近いほど差分値が大きく、階調劣化が起きていることを示すマップである。このため、階調復元部１３９は、マップに基づいてクロマ信号を復元する。一例として、マップは図９中に示した数式で表すことができる。

図１０は、図８の階調復元部１３９の構成を示す模式図である。階調復元部１３９は、ローパスフィルタ１３９ａとブレンド部１３９ｂを有して構成される。階調劣化を除去するためにローパスフィルタ１３９ａを適用したクロマ画像（Ｉｍｇ１）を用意し、ブレンド部１３９ｂは、図９のマップ値αを用い、以下の式（２）に基づき、ローパスフィルタ１３９ａを適用していないクロマ画像（Ｉｍｇ２）とローパスフィルタ１３９ａを適用したクロマ画像（Ｉｍｇ１）をブレンドする。

αの値が０に近いほど階調劣化の可能性が低いため、ローパスフィルタ１３９ａを適用していないクロマ画像（Ｉｍｇ２）を多用する。一方、αの値が１に近いほど、階調劣化の可能性が高いのでローパスフィルタ１３９ａを適用したクロマ画像（Ｉｍｇ１）を多用する。これにより、階調劣化の可能性が高いほどクロマ画像を鈍らせることができ、クロマ画像の階調を高めることができる。

また、図１１は、図８の階調復元部１３９の別の構成を示す模式図であって、マップ値αに基づいてローパスフィルタのフィルタ係数を切り換える例を示す模式図である。図１１に示すように、フィルタ係数切換部１３９ｃがローパスフィルタ１３９ｄのフィルタ係数を切り換える。図１２は、フィルタ係数切換部１３９ｃがローパスフィルタ１３９ｄのフィルタ係数を切り換える際に使用するテーブルを示す模式図である。図１２に示すように、マップ値αが大きい程、すなわち白黒画像の輝度値とクロマ信号の差分が大きいほど、ローパスフィルタ１３９ａの強度を大きくするため強いフィルタ係数を用い、クロマ信号を鈍らせる。フィルタ係数ｗ（ｉ，ｊ）は、以下の式（３）から求まる。式（３）において、ｘ，ｙは計算対象のフィルタタップの位置を示しており、σは強度パラメータを示している。図１２に示すように、αの値が大きいほど強度パラメータσの値が大きくなる（σ１＜σ２＜σ３＜σ４）。これにより、階調劣化の可能性が高いほど強いフィルタ係数を用いてクロマ画像を鈍らせることができ、クロマ画像の階調を高めることができる。

図１３は、階調制御部１３０の別の構成例を示す模式図である。図１３に示す構成では、学習のフレームワークを使用して階調復元を行う。学習のフレームワークを用いることにより、図６、図８に示したモデルベースの構成に比べて、最適な制御、予測係数の設計が容易になる。

より具体的には、図６、図８に示したモデルベースの構成では、マップ値αとσの関係を予め定めていたが、学習のフレームワークを使用する場合は、学習に応じてこれらの関係性を柔軟に定めることができる。

図１３に示すように、階調制御部１３０のオンラインプロセスの構成には、分類部３００、学習データベース３０２、予測部３０４が含まれる。分類部３００は、入力信号の波形パターン（階調劣化の度合い）を分類し、予測部３０４に使用するフィルタの係数番号を決定する。予測部３０４は、係数番号に従って学習データベース３０２からフィルタ係数を取得して、フィルタリング処理を行う。

一方、階調制御部１３０のオフラインプロセスの構成には、第１のカメラシミュレーション部３１０、第２のカメラシミュレーション部３１２、学習部３１４が含まれる。第１のカメラシミュレーション部３１０は、長畜画像に相当する第１のカメラをシミュレーションする構成要素であって、一例として白黒画像の撮像素子１１００に相当するシミュレーションを行う。また、第２のカメラシミュレーション部３１２は、短畜画像に相当する第２のカメラをシミュレーションする構成要素であって、一例としてカラー画像の撮像素子１２００に相当するシミュレーションを行う。第１のカメラシミュレーション部３１０及び第２のカメラシミュレーション部３１２には、ＨＤＲ合成がなされた理想画像が入力される。第１のカメラシミュレーション部３１０及び第２のカメラシミュレーション部３１２は、それぞれ理想画像の撮像を行い、結果を学習部３１４に送る。第１のカメラシミュレーション部３１０による画像データはガイド情報に相当し、第２のカメラシミュレーション部３１２による画像データは階調が劣化した劣化画像に相当する。また、学習部３１４には理像画像も送られる。学習部３１４は、理想画像と、第１のカメラシミュレーション部３１０、第２のカメラシミュレーション部３１２のそれぞれが撮像した画像とを比較し、学習を行う。学習では、第１のカメラシミュレーション部３１０によるガイド情報と、第２のカメラシミュレーション部３１２による劣化画像と、に基づいて理想画像を得るためのフィルタ係数を算出する。学習結果は学習データベース３０２に送られる。学習データベース３０２には、劣化画像の度合い（図１５に示す分類番号）とフィルタ係数が紐付けられて格納される。

図１４は、分類部３００の構成を示す模式図である。分類部３００は、図８に示した階調制御部１３０と同様に構成され、微分部１３４ａ、微分部１３４ｂ、差分算出部１３６、マップ作成部１３８を有している。分類部３００は、図８と同様の手法でマップ値αを求め、図１５に示すテーブルからマップ値αに対応する分類番号を取得する。なお、図１５に示すテーブルは一例であって、マップ値αと分類番号の関係はより多段階に規定しても良い。予測部３０４は、分類番号に該当するフィルタ係数を学習データベース３０２から取得し、フィルタリング処理を行う。予測部３０４は、以下の式（４）から入力ｘ（ｉ，ｊ），ｎに対してフィルタリング処理を行い、出力Ｘ（ｉ，ｊ）を得る。式（４）において、Ｗ（ｉ，ｊ），ｎは、図１５の分類番号に応じてデータベース３０２から得られるフィルタ係数である。

式（４）によるフィルタリング処理では、図１６に示すように、フィルタリング処理を行う中心画素に対して、周囲の複数の画素（ｎ個）を設定し、中心画素とその周囲の画素値と、中心画素に対応するフィルタ係数とその周囲の画素のフィルタ係数に基づいて、中心画素に対してフィルタリング処理を行った出力Ｘ（ｉ，ｊ）を得る。これにより、学習で蓄積された、劣化に応じたガイドの値を使うことができる。

以上のように、図１４に示す構成例によれば、ガイド情報、劣化画像、及び理想画像との関係を規定するフィルタ係数を蓄積することで、劣化に応じて理想画像を得るための最適なフィルタ係数を使用することが可能となる。

６．本実施形態で行われる処理について
次に、本実施形態で行われる各処理について説明する。図１７は、図２に示した第１の構成例に係る処理を示すフローチャートである。先ず、ステップＳ１０では、カラー画像の撮像素子１２００による撮像を行い、クロマ信号を取得する。ステップＳ１２では、撮像により得られた信号に現像処理（デモザイク処理など）を行う。また、ステップＳ１４では、ステップＳ１０と並行して、白黒画像の撮像素子１１００による撮像を行い、白黒画像の輝度信号を取得する。ステップＳ１２，Ｓ１４の後はステップＳ１６，Ｓ１８へ進み、視差補正部１１０により白黒画像とカラー画像の位置ズレを補正し、両画像の視差を合わせるワープ処理を行う。具体的に、ステップＳ１６では、白黒画像とカラー画像の処理対象位置の視差ベクトルを求め、ステップＳ１８では、図２３Ａに示すように、処理対象位置の視差ベクトルに基づいて、参照画像から画素値を抽出する処理（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）を行う。この際、ベクトルが画素以下の精度を表す場合は、周囲の画素を使って補間した上で画素値を抽出する。補間方法は、バイリニア、バイキュービック、ランチョスなどを使用することができる。図２３Ｂは、バイリニア補間の例を示しており、周囲４点の画素を、補間位置と各画素との距離重みによりブレンドすることで、補間画素を生成する例を示している。なお、図２３Ａ、図２３Ｂにおいて、各正方形は画素を示している。

次のステップＳ２０では、ＨＤＲ合成部１２０が、白黒画像の輝度信号を長畜画像とし、カラー画像の輝度信号を短畜画像として、両者をＨＤＲ合成する。次のステップＳ２２では、階調制御部１３０が、クロマ信号の階調を調整する。ステップＳ２２の後は処理を終了する。

図１８は、図３に示した第２の構成例に係る処理を示すフローチャートである。ステップＳ１８までの処理は図１７と同様である。ステップＳ１８の後、ステップＳ２４では、階調制御部１３０が、白黒画像の輝度信号をガイド信号としてクロマ信号の階調を調整する。次のステップＳ２６では、ＨＤＲ合成部１２０が、入力されたカラーの長畜画像と短畜画像を用いて、ＨＤＲ合成を行う。

図１９は、図６に示した階調制御部１３０による処理を示すフローチャートである。先ず、ステップＳ３０では、白黒画像の輝度信号が入力される。ステップＳ３２では上述したジョイントバイラテラル型のフィルタのＷｃｏｌｏｒ値を計算し、ステップＳ３４ではＷｓｐａｃｅ値を計算する。次のステップＳ３６ではクロマ信号が入力され、次のステップＳ３８では上述したジョイントバイラテラル型のフィルタ等を用いてフィルタリング処理が行われる。

図２０は、図８に示した階調制御部１３０による処理を示すフローチャートである。先ず、ステップＳ４０では微分部１３４ｂにクロマ信号が入力され、ステップＳ４２では微分部１３４ｂによりクロマ信号の微分が行われる。また、ステップＳ４０，Ｓ４２と並行して、ステップＳ４４では微分部１３４ａに白黒画像の信号が入力され、ステップＳ４６では微分部１３４ａにより白黒画像の信号の微分が行われる。

ステップＳ４２，Ｓ４６の後はステップＳ４８へ進み、差分算出部１３６によりクロマ信号と白黒画像の信号の差分値を求める。次のステップＳ５０では、マップ作成部１３８が図９に示すマップを作成する、次のステップＳ５２では階調復元部１３９にクロマ信号が入力され、ステップＳ５４では、クロマ信号に対してローパスフィルタ１３９ａによる処理が行われる。次のステップＳ５６では、ブレンド部１３９ｂにより、ローパスフィルタ１３９ａを適用していないクロマ画像（Ｉｍｇ２）とローパスフィルタ１３９ａを適用したクロマ画像（Ｉｍｇ１）がブレンドされる。ステップＳ５６の後は処理を終了する。

図２１は、図８の階調復元部１３９による処理を示すフローチャートである。ステップＳ５０までの処理は図２０と同様である。ステップＳ５８では、フィルタ係数切換部１３９ｃがローパスフィルタ１３９ａのフィルタ係数を切り換える。ステップＳ６０では、ステップＳ５８で切り換えたフィルタ係数に基づいてフィルタリング処理を行う。ステップＳ６０の後は処理を終了する。

図２２は、図１３に示した学習のフレームワークを使用して階調復元を行う場合の処理を示すフローチャートである。オフラインプロセスでは、ステップＳ７０において、理想画像が準備される。次のステップＳ７２では第１のカメラシミュレーション部３１０によるシミュレーションが行われ、次のステップＳ７４では第２のカメラシミュレーション部３１２によるシミュレーションが行われる。次のステップＳ７６では教師となる画素が取得され、次のステップＳ７８では生徒となる画素１，２が取得される。次のステップＳ８０では信号の分類が行われ、次のステップＳ８２では学習（誤差最小係数の算出）が行われる。ステップＳ８２の後は処理を終了する。

オンライプロセスでは、ステップＳ９０においてクロマ信号が予測部３０４に入力され、ステップＳ９２において白黒画像の信号が分類部３００に入力される。これにより、ステップＳ９４において、クロマ信号、白黒画像の信号の画素値が取得される。ステップＳ９６では分類部３００によって信号が分類され、ステップＳ９８では予測部３０４によって学習データベース３０２から係数が取得される。次のステップＳ１００では、ステップＳ９８で取得した係数によりフィルタリングが行われる。ステップＳ１００の後は処理を終了する。

８．本実施形態のバリエーションについて
以下では、本実施形態のバリエーションについて説明する。上述した例では、白黒画像を撮像するカメラ（撮像素子１１００に対応）とカラー画像を撮像するカメラ（撮像素子１２００に対応）の２台を用いた例を示したが、３台以上のカメラを用いても良い。例えば、３台のカメラＡ、カメラＢ、カメラＣを用い、カメラＡ＜カメラＢ＜カメラＣの順で感度が良くなるものであっても良い。

また、連写型のＨＤＲ合成との組み合わせを行っても良い。図２４に示すように、複数台のカメラのそれぞれで長畜画像、短畜画像に相当する露光差を有する撮像をすることで露光パターンを増やすことができる。図２４に示す例では、図１と同様に白黒画像の撮像素子１１００とカラー画像の撮像素子１２００の２つを用い、撮像素子１１００と撮像素子１２００のそれぞれで２通りの露光時間を用いた例を示している。図２４では、露光（１）＜露光（２）＜露光（３）＜露光（４）の順で画像が明るくなり、露光差を持たせることができる。この場合、露光時間差によってはボケ（被写体ブレ）が出るが、従来のＨＤＲよりも感度差の分だけ露光時間差を短縮することができるため、ボケの軽減効果を得ることが可能である。

ボケをなくすためには、複数のカメラ間で露光時間差をつけない方が良いが、よりＨＤＲ効果を出すために露光時間差をつけても良い。図２５に示す例では、長畜画像に相当する白黒画像の撮像素子１１００による撮像の露光時間を図１よりも長くした例を示している。この場合、露光時間差によってはボケが生じる。しかし、カラー画像の撮像素子１２００を１つ用い、異なる時刻、異なる露光時間で短時間露光と長時間露光を順次に行ってＨＤＲ合成をする場合と比較すると、感度差の分だけ露光時間差を短縮することができるため、ボケの軽減効果を得ることができる。

図２６は、ビームスプリッタ１３００を使用した例を示す模式図である。レンズ１４００から入射した被写体像はビームスプリッタ１３００で分離され、白黒画像の撮像素子１１０とカラー画像の撮像素子１２００で撮像される。複数のカメラを並べて配置した場合、上述のように視差が生じることになるが、ビームスプリッタ１３００のような、白黒画像とカラー画像の光軸を合わせる装置を使用しても良い。これにより、視差補正部１１０が不要となり、画像処理装置１０００の構成をより簡素にすることができる。

図２７は、白黒画像の更なる高感度化を図るためにＩＲ（赤外線）カットフィルタを用いない例を示す模式図である。通常は赤外領域を遮断して使用するため、ＩＲカットフィルタを用いて図２７に示す遮断領域の光を遮断する。ＩＲカットフィルタを装着しないことで、より多くの光を撮像素子１１００に取り込むことができ、更なる高感度化を実現できる。ＩＲフラッシュまたは投光器を使用しないパッシブの状態で用いても良いが、ＩＲフラッシュまたは投光器を使用するアクティブでＩＲ（赤外線）カットフィルタを用いないことで、より明るい画像を撮影することが可能である。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１） 白黒画像の輝度信号と、前記白黒画像と同一の被写体を撮像して得られるカラー画像のクロマ信号とを取得し、前記輝度信号に基づいて、前記クロマ信号の階調を制御する階調制御部を備える、画像処理装置。
（２） 前記階調制御部は、前記輝度信号をガイド情報として前記クロマ信号の階調を復元する階調復元フィルタから構成される、前記（１）に記載の画像処理装置。
（３） 前記階調復元フィルタは、白黒画像をガイドとして使用する非線形型のフィルタから構成される、前記（２）に記載の画像処理装置。
（４） 前記階調制御部は、
前記輝度信号と前記クロマ信号の差分を算出する差分算出部と、
前記差分に基づいて前記クロマ信号の階調を復元する階調復元部と、
を有する、前記（１）に記載の画像処理装置。
（５） 前記階調復元部は、前記差分が大きい程、前記クロマ信号の周波数が低域となるように前記階調を復元する、前記（４）に記載の画像処理装置。
（６） 前記階調復元部は、
前記クロマ信号の低周波成分を通過させるローパスフィルタと、
前記クロマ信号と前記クロマ信号の低周波成分をブレンドするブレンド部を有し、
前記ブレンド部は、前記差分が大きいほど前記低周波成分の比率を高めて前記クロマ信号と前記クロマ信号の低周波成分をブレンドする、前記（４）に記載の画像処理装置。
（７） 前記階調復元部は、
前記クロマ信号の低周波成分を通過させるローパスフィルタと、
前記差分が大きいほど前記ローパスフィルタの強度を高めるフィルタ強度切換部と、
を有する、前記（４）に記載の画像処理装置。
（８） 前記階調制御部は、
前記輝度信号と前記クロマ信号の差分を算出する差分算出部と、
前記差分に応じたフィルタ係数をデータベースから取得し、前記フィルタ係数に応じたフィルタリング処理を前記クロマ信号に施すフィルタリング処理部と、
を有し、
前記データベースには、理想画像を白黒画像に変換して得られるガイド情報と、理想画像をカラー画像に変換して得られる劣化画像と、前記ガイド情報と前記劣化画像に基づいて前記理想画像を得るための前記フィルタ係数が学習により蓄積される、前記（１）に記載の画像処理装置。
（９） 前記白黒画像の前記輝度信号と、前記白黒画像よりも低い感度で撮像された前記カラー画像の輝度信号とをＨＤＲ合成するＨＤＲ合成部を備える、前記（１）～（８）のいずれかに記載の画像処理装置。
（１０） 前記階調制御部は、前記ＨＤＲ合成により得られたダイナミックレンジが拡大された輝度信号に基づいて前記クロマ信号の階調を復元する、前記（９）に記載の画像処理装置。
（１１） 前記白黒画像の前記輝度信号及び前記階調制御部により階調が制御された前記クロマ信号と、前記白黒画像よりも低い感度で撮像された前記カラー画像の輝度信号及び前記クロマ信号とをＨＤＲ合成するＨＤＲ合成部を備える、前記（１）～（８）のいずれかに記載の画像処理装置。
（１２） 前記カラー画像のＲＧＢ信号を輝度信号及び前記クロマ信号に変換する変換部を備える、前記（１）～（１１）のいずれかに記載の画像処理装置。
（１３） 前記白黒画像と前記カラー画像はそれぞれ別体の撮像素子で同時に撮像され、前記白黒画像と前記カラー画像の視差を補正する視差補正部を備える、前記（１）～（１２）のいずれかに記載の画像処理装置。
（１４） 前記白黒画像と前記カラー画像は、時間差を設けて前記被写体を撮像することにより得られる、前記（１）～（１２）のいずれかに記載の画像処理装置。
（１５） 被写体の白黒画像を撮像する第１の撮像素子と、
前記被写体のカラー画像を撮像する第２の撮像素子と、
前記白黒画像の輝度信号と、前記カラー画像のクロマ信号とを取得し、前記輝度信号に基づいて、前記クロマ信号の階調を制御する画像処理装置と、
を備える、撮像装置。
（１６） 前記第１の撮像素子及び前記第２の撮像素子には赤外光カットフィルタが設けられていない、前記（１５）に記載の撮像装置。

１００ 変換部
１１０ 視差補正部
１２０ ＨＤＲ合成部
１３０ 階調制御部
１３２ 階調復元フィルタ
１３６ 差分算出部
１３９ 階調復元部
１３９ａ ローパスフィルタ
１３９ｂ ブレンド部
１３９ｃ フィルタ係数切換部
１３９ｄ ローパスフィルタ
３０２ 学習ＤＢ
３０４ 予測部
１０００ 画像処理装置
１１００，１２００ 撮像素子

Claims (14)

1. 白黒画像の輝度信号と、前記白黒画像と同一の被写体を撮像して得られるカラー画像のクロマ信号とを取得し、前記輝度信号に基づいて、前記クロマ信号の階調を制御する階調制御部を備え、
   前記階調制御部は、前記輝度信号をガイド情報として前記クロマ信号の階調を復元する階調復元フィルタから構成される、画像処理装置。
2. 前記階調復元フィルタは、白黒画像をガイドとして使用する非線形型のフィルタから構成される、請求項１に記載の画像処理装置。
3. 白黒画像の輝度信号と、前記白黒画像と同一の被写体を撮像して得られるカラー画像のクロマ信号とを取得し、前記輝度信号に基づいて、前記クロマ信号の階調を制御する階調制御部を備え、
   前記階調制御部は、
   前記輝度信号と前記クロマ信号の差分に基づいて前記クロマ信号の階調を復元する階調復元部と、
   を有し、
   前記階調復元部は、前記差分が大きい程、前記クロマ信号の周波数が低域となるように前記階調を復元する、画像処理装置。
4. 白黒画像の輝度信号と、前記白黒画像と同一の被写体を撮像して得られるカラー画像のクロマ信号とを取得し、前記輝度信号に基づいて、前記クロマ信号の階調を制御する階調制御部を備え、
   前記階調制御部は、
   前記輝度信号と前記クロマ信号の差分に基づいて前記クロマ信号の階調を復元する階調復元部と、
   を有し、
   前記階調復元部は、
   前記クロマ信号の低周波成分を通過させるローパスフィルタと、
   前記クロマ信号と前記クロマ信号の低周波成分をブレンドするブレンド部を有し、
   前記ブレンド部は、前記差分が大きいほど前記低周波成分の比率を高めて前記クロマ信号と前記クロマ信号の低周波成分をブレンドする、画像処理装置。
5. 白黒画像の輝度信号と、前記白黒画像と同一の被写体を撮像して得られるカラー画像のクロマ信号とを取得し、前記輝度信号に基づいて、前記クロマ信号の階調を制御する階調制御部を備え、
   前記階調制御部は、
   前記輝度信号と前記クロマ信号の差分に基づいて前記クロマ信号の階調を復元する階調復元部と、
   を有し、
   前記階調復元部は、
   前記クロマ信号の低周波成分を通過させるローパスフィルタと、
   前記差分が大きいほど前記ローパスフィルタの強度を高めるフィルタ強度切換部と、
   を有する、画像処理装置。
6. 白黒画像の輝度信号と、前記白黒画像と同一の被写体を撮像して得られるカラー画像のクロマ信号とを取得し、前記輝度信号に基づいて、前記クロマ信号の階調を制御する階調制御部を備え、
   前記階調制御部は、
   前記輝度信号と前記クロマ信号の差分を算出する差分算出部と、
   前記差分に応じたフィルタ係数をデータベースから取得し、前記フィルタ係数に応じたフィルタリング処理を前記クロマ信号に施すフィルタリング処理部と、
   を有し、
   前記データベースには、理想画像を白黒画像に変換して得られるガイド情報と、理想画像をカラー画像に変換して得られる劣化画像と、前記ガイド情報と前記劣化画像に基づいて前記理想画像を得るための前記フィルタ係数が学習により蓄積される、画像処理装置。
7. 白黒画像の輝度信号と、前記白黒画像と同一の被写体を撮像して得られるカラー画像のクロマ信号とを取得し、前記輝度信号に基づいて、前記クロマ信号の階調を制御する階調制御部と、
   前記白黒画像の前記輝度信号と、前記白黒画像よりも低い感度で撮像された前記カラー画像の輝度信号とをＨＤＲ合成するＨＤＲ合成部と、
   を備える、画像処理装置。
8. 前記階調制御部は、前記ＨＤＲ合成により得られたダイナミックレンジが拡大された輝度信号に基づいて前記クロマ信号の階調を復元する、請求項７に記載の画像処理装置。
9. 白黒画像の輝度信号と、前記白黒画像と同一の被写体を撮像して得られるカラー画像のクロマ信号とを取得し、前記輝度信号に基づいて、前記クロマ信号の階調を制御する階調制御部と、
   前記白黒画像の前記輝度信号及び前記階調制御部により階調が制御された前記クロマ信号と、前記白黒画像よりも低い感度で撮像された前記カラー画像の輝度信号及び前記クロマ信号とをＨＤＲ合成するＨＤＲ合成部と、
   を備える、画像処理装置。
10. 前記カラー画像のＲＧＢ信号を輝度信号及び前記クロマ信号に変換する変換部を備える、請求項１から９のいずれか一項に記載の画像処理装置。
11. 前記白黒画像と前記カラー画像はそれぞれ別体の撮像素子で同時に撮像され、前記白黒画像と前記カラー画像の視差を補正する視差補正部を備える、請求項１から１０のいずれか一項に記載の画像処理装置。
12. 前記白黒画像と前記カラー画像は、時間差を設けて前記被写体を撮像することにより得られる、請求項１から１０のいずれか一項に記載の画像処理装置。
13. 被写体の白黒画像を撮像する第１の撮像素子と、
    前記被写体のカラー画像を撮像する第２の撮像素子と、
    前記白黒画像の輝度信号と、前記カラー画像のクロマ信号とを取得し、前記輝度信号に基づいて、前記クロマ信号の階調を制御する階調制御部を有する画像処理装置と、
    を備え、
    前記階調制御部は、前記輝度信号をガイド情報として前記クロマ信号の階調を復元する階調復元フィルタから構成される、撮像装置。
14. 前記第１の撮像素子及び前記第２の撮像素子には赤外光カットフィルタが設けられていない、請求項１３に記載の撮像装置。

Images