JP6646675B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、画像処理装置および画像処理方法に関するものである。

複数枚画像を用いたノイズ低減処理方法が知られている（例えば、特許文献１参照。）。
このノイズ低減処理方法は、異なる時刻に取得された画像間で被写体の動きを推定し、動き補正した画像に基づいて信号の相関（フィールド相関）を算出して、その値が高ければ時系列方向に色差信号を平滑化する手法である。

特開平１０−１３７３４号公報

しかし、フィールド間で参照範囲を超える非常に大きな動きがある場合や、被写体のブレが発生する場合、また奥行方向への動きに伴い画像がぼける場合に、動き補償の推定精度が低下してしまう。このような場合に時系列方向に色差信号を平滑化するとコントラストが低下してしまう。また、空間方向に色差信号を平滑化すると、ノイズ低減効果と画像コントラストの間にトレードオフの関係があり、両立させることが困難である。

本発明は、上述した事情に鑑みてなされたものであって、色差信号を平滑化してノイズを低減するとともに、コントラストの低下を防止することができる画像処理装置および画像処理方法を提供することを目的としている。

本発明の一態様は、同一の被写体を異なる撮影条件で撮影して取得された２枚の画像のＲＧＢ信号から、輝度信号および色差信号を算出する色空間変換部と、該色空間変換部により算出された２枚の前記画像の前記色差信号の差分の絶対値が所定の閾値より小さいか否かを判定する色差分判定部と、該色差分判定部により、２枚の前記画像の前記色差信号の差分の絶対値が前記閾値よりも小さいと判定された場合に、２枚の前記画像の前記色差信号を平均して平均色差信号を算出する色平均部とを備える画像処理装置である。

本態様によれば、異なる撮影条件で同一の被写体を撮影して取得された２枚の画像のＲＧＢ信号が入力されると、色空間変換部において輝度信号および色差信号が算出され、色差分判定部において２枚の画像の色差信号の差分の絶対値が所定の閾値より小さいか否かが判定される。差分の絶対値が所定の閾値より小さいと判定された場合は、色平均部において２枚の画像の色差信号が平均されて平均色差信号が算出される。

発明者は、画像のＲＧＢ信号の内、Ｒ信号またはＢ信号と輝度信号との相関が高ければ、２枚の画像間でボケ量が変化していても色差信号の強度は変化しないことを見いだした。すなわち、このような条件下では、画像間の色差信号を平滑化することでコントラストを維持した上で高いノイズ低減効果が期待できる。そこで、Ｒ信号またはＢ信号と輝度信号との相関が高いことを表す２つの画像の色差信号の差分が所定の閾値より小さい場合に、２枚の画像の色差信号を平均して平滑化することにより、コントラストを維持した上でノイズ低減効果を向上することができる。

上記態様においては、前記色平均部により算出された前記平均色差信号と、前記色空間変換部により算出された前記輝度信号とからＲＧＢ信号を算出するＲＧＢ変換部を備えていてもよい。
このようにすることで、ノイズ低減された画像を生成することができる。
また、上記態様においては、前記色空間変換部が、２枚の前記画像のＲＧＢ信号から前記色差信号としてＣｂ信号およびＣｒ信号を算出してもよい。

また、本発明の他の態様は、同一の被写体を異なる撮影条件で撮影して取得された２枚の画像のＲＧＢ信号から、明度信号および色度座標値を算出する色空間変換部と、該色空間変換部により算出された２枚の前記画像の前記色度座標値の差分の絶対値が所定の閾値より小さいか否かを判定する色差分判定部と、該色差分判定部により、２枚の前記画像の前記色度座標値の差分の絶対値が前記閾値よりも小さいと判定された場合に、２枚の前記画像の前記色度座標値を平均して平均色度座標値を算出する色平均部とを備える画像処理装置である。

本態様によれば、異なる撮影条件で同一の被写体を撮影して取得された２枚の画像のＲＧＢ信号が入力されると、色空間変換部において明度信号および色度座標値が算出され、色差分判定部において２枚の画像の色度座標値の差分の絶対値が所定の閾値より小さいか否かが判定される。差分の絶対値が所定の閾値より小さいと判定された場合は、色平均部において２枚の画像の色度座標値が平均されて平均色度座標値が算出される。

画像のＲＧＢ信号の内、Ｒ信号またはＢ信号と明度信号との相関が高ければ、２枚の画像間でボケ量が変化していても色度座標値は変化しないので、このような条件下では、画像間の色度座標値を平滑化することでコントラストを維持した上で高いノイズ低減効果が期待できる。そこで、Ｒ信号またはＢ信号と明度信号との相関が高いことを表す２つの画像の色度座標値の差分が所定の閾値より小さい場合に、２枚の画像の色度座標値を平均して平滑化することにより、コントラストを維持した上でノイズ低減効果を向上することができる。

上記態様においては、前記色平均部により算出された前記平均色度座標値と、前記色空間変換部により算出された前記明度信号とからＲＧＢ信号を算出するＲＧＢ変換部を備えていてもよい。
このようにすることで、ノイズ低減された画像を生成することができる。
また、上記態様においては、前記色空間変換部が、２枚の前記画像のＲＧＢ信号から前記色度座標値としてａ＊信号およびｂ＊信号を算出してもよい。

また、上記態様においては、２枚の前記画像は、焦点距離が異なっていてもよい。
また、上記態様においては、２枚の前記画像は、視差が異なっていてもよい。

また、本発明の他の態様は、同一の被写体を異なる撮影条件で撮影して取得された２枚の画像のＲＧＢ信号から、輝度信号および色差信号を算出する色空間変換ステップと、該色空間変換ステップにより算出された２枚の前記画像の前記色差信号の差分の絶対値が所定の閾値より小さいか否かを判定する色差分判定ステップと、該色差分判定ステップにより、２枚の前記画像の前記色差信号の差分の絶対値が前記閾値よりも小さいと判定された場合に、２枚の前記画像の前記色差信号を平均して平均色差信号を算出する色平均ステップとを含む画像処理方法である。

また、本発明の他の態様は、同一の被写体を異なる撮影条件で撮影して取得された２枚の画像のＲＧＢ信号から、明度信号および色度座標値を算出する色空間変換ステップと、該色空間変換ステップにより算出された２枚の前記画像の前記色度座標値の差分の絶対値が所定の閾値より小さいか否かを判定する色差分判定ステップと、該色差分判定ステップにより、２枚の前記画像の前記色度座標値の差分の絶対値が前記閾値よりも小さいと判定された場合に、２枚の前記画像の前記色度座標値を平均して平均色度座標値を算出する色平均ステップとを含む画像処理方法である。

本発明によれば、色差信号を平滑化してノイズを低減するとともに、コントラストの低下を防止することができるという効果を奏する。

本発明の一実施形態に係る画像処理装置を示す全体構成図である。 図１の画像処理装置を用いた画像処理方法を示すフローチャートである。 図２の画像処理方法を用いて取得された２枚の画像のうちの一方の画像の輝度信号およびＲ／Ｂ信号の相関が高い場合を示す図である。 図３Ａの輝度信号とＲ／Ｂ信号との差分に等しい色差信号を示す図である。 図２の画像処理方法を用いて取得された２枚の画像のうちの他方の画像の輝度信号およびＲ／Ｂ信号の相関が高い場合を示す図である。 図３Ｃの輝度信号とＲ／Ｂ信号との差分に等しい色差信号を示す図である。 図２の画像処理方法を用いて取得された２枚の画像間における色差信号の差分絶対値が所定の閾値以下である場合を示す図である。 図３Ｅの一方の画像の色差信号の平均をとった平均色差信号を示す図である。 図３Ｅの他方の画像の色差信号の平均をとった平均色差信号を示す図である。 図２の画像処理方法を用いて取得された２枚の画像のうちの一方の画像の輝度信号およびＲ／Ｂ信号の相関が低い場合を示す図である。 図４Ａの輝度信号とＲ／Ｂ信号との差分に等しい色差信号を示す図である。 図２の画像処理方法を用いて取得された２枚の画像のうちの他方の画像の輝度信号およびＲ／Ｂ信号の相関が低い場合を示す図である。 図４Ｃの輝度信号とＲ／Ｂ信号との差分に等しい色差信号を示す図である。 図２の画像処理方法を用いて取得された２枚の画像間における色差信号の差分絶対値が所定の閾値を超える領域が存在する場合を示す図である。 図４Ｅの一方の色差信号の差分が閾値を超えない領域において平均をとった場合の平均色差信号を示す図である。 図４Ｅの他方の色差信号の差分が閾値を超えない領域において平均をとった場合の平均色差信号を示す図である。

以下、本発明の一実施形態に係る画像処理装置１について、図面を参照して以下に説明する。
本実施形態に係る画像処理装置１は、図１に示されるように、撮影装置２に備えられている。

撮影装置２は、被写体からの光を集光する光学系３と、該光学系３により集光された光を撮影する撮像素子４と、該撮像素子４により取得された画像を記憶するフレームメモリ５と、該フレームメモリ５に記憶された画像を処理する本実施形態に係る画像処理装置１とを備えている。

光学系３は、被写体からの光を分岐するビームスプリッタ（図示略）を備え、焦点距離の異なる２つの像をそれぞれ撮像素子４に結像させるようになっている。これにより、撮像素子４によって同時に２枚の画像のＲＧＢ信号を取得することができるようになっている。

取得された２枚の画像のＲＧＢ信号はフレームメモリ５に一旦記憶された後に画像処理装置１に入力される。
画像処理装置１は、入力された２枚の画像のＲＧＢ信号を、それぞれ、ＹＣｂＣｒ信号に変換して、輝度信号Ｙ１，Ｙ２と色差信号Ｃｂ１，Ｃｂ２，Ｃｒ１，Ｃｒ２とを出力する色空間変換手段（色空間変換部）６と、２つの画像の色差信号Ｃｂ１，Ｃｂ２どうし、および色差信号Ｃｒ１，Ｃｒ２どうしの差分Ｃｂ１−Ｃｂ２，Ｃｒ１−Ｃｒ２を算出し、所定の閾値Ｓｃｂ，Ｓｃｒと比較する閾値判定手段（色差分判定部）７と、閾値判定手段７における判定結果に基づいて算出方法を切り替えて色差信号の平均値Ｃｂ１′，Ｃｂ２′，Ｃｒ１′，Ｃｒ２′を算出する色平均手段（色平均部）８と、輝度信号Ｙ１，Ｙ２と色差信号の平均値（平均色差信号）Ｃｂ１′，Ｃｂ２′，Ｃｒ１′，Ｃｒ２′とから画像のＲＧＢ信号を生成するＲＧＢ変換手段（ＲＧＢ変換部）９とを備えている。

さらに具体的には、閾値判定手段７は、一方の画像のＲＧＢ信号を変換して生成された色差信号Ｃｂ１，Ｃｒ１から他方の画像のＲＧＢ信号を変換して生成された色差信号Ｃｂ２，Ｃｒ２を減算して、差分Ｃｂ１−Ｃｂ２，Ｃｒ１−Ｃｒ２を算出し、所定の閾値Ｓｃｂ，Ｓｃｒと比較し、
｜Ｃｂ１−Ｃｂ２｜＜Ｓｃｂ （１）
｜Ｃｒ１−Ｃｒ２｜＜Ｓｃｒ （２）
か否かを判定するようになっている。

色平均手段８は、条件式（１）を満たしている場合には、
Ｃｂ１′＝αＣｂ１＋（１−α）Ｃｂ２ （３）
Ｃｂ２′＝αＣｂ２＋（１−α）Ｃｂ１ （４）
を算出し、条件式（２）を満たしている場合には、
Ｃｒ１′＝βＣｒ１＋（１−β）Ｃｒ２ （５）
Ｃｒ２′＝βＣｒ２＋（１−β）Ｃｒ１ （６）
を算出するようになっている。ここで、０≦α＜１である。

条件式（１）を満たさない場合には、
Ｃｂ１′＝Ｃｂ１ （７）
Ｃｂ２′＝Ｃｂ２ （８）
を算出し、条件式（２）を満たさない場合には、
Ｃｒ１′＝Ｃｒ１ （９）
Ｃｒ２′＝Ｃｒ２ （１０）
を算出するようになっている。ここで、０≦β＜１である。

このように構成された本実施形態に係る画像処理装置１を用いた画像処理方法について、図面を参照して以下に説明する。
同一の被写体について異なる撮影条件で同時に取得された２枚の画像のＲＧＢ信号が画像処理装置１に入力されると、図２に示されるように、色空間変換手段において２枚の画像の全ての画素位置におけるＲＧＢ信号がＹＣｂＣｒ信号に変換される（色空間変換ステップＳ１）。

次いで、閾値判定手段７において、まず、２枚の画像の色差Ｃｂ１，Ｃｂ２の差分Ｃｂ１−Ｃｂ２が演算され、条件式（１）に示されるように、所定の閾値Ｓｃｂより小さいか否かの判定が行われる（色差分判定ステップＳ２）。判定の結果、条件式（１）を満たす場合には、色平均手段８において、式（３）、（４）の演算が行われ（ステップＳ３）、条件式（１）を満たさない場合には、式（７）、（８）の演算が行われ（ステップＳ４）、平均色差信号Ｃｂ１′，Ｃｂ２′が算出される。

次に、同様にして、２枚の画像の色差Ｃｒ１，Ｃｒ２の差分Ｃｒ１−Ｃｒ２が演算され、条件式（２）に示されるように、所定の閾値Ｓｃｒより小さいか否かの判定が行われる（色平均ステップＳ５）。判定の結果、条件式（２）を満たす場合には、色平均手段８において、式（５）、（６）の演算が行われ（ステップＳ６）、条件式（２）を満たさない場合には、式（９）、（１０）の演算が行われ（ステップＳ７）、平均色差信号Ｃｒ１′，Ｃｒ２′が算出される。

さらに具体的には、図３Ａ、図３Ｃに２枚の画像の輝度信号Ｙ１，Ｙ２およびＲ／Ｂ信号（Ｒ信号またはＢ信号）の例を示す。この例においては、図３Ａの画像よりも図３Ｃの画像のボケが大きい。これらの画像においては、輝度信号Ｙ１，Ｙ２とＲ／Ｂ信号との相関が高いので、これら輝度信号Ｙ１，Ｙ２とＲ／Ｂ信号との差分に等しい色差信号Ｃｂ１，Ｃｒ１，Ｃｂ２，Ｃｒ２は、図３Ｂおよび図３Ｄに示されるように略一定となる。

したがって、２枚の画像間で色差信号Ｃｂ１，Ｃｂ２、または色差信号Ｃｒ１，Ｃｒ２が近似する場合、すなわち、図３Ｅに示されるように、差分が所定の閾値Ｓｃｂ，Ｓｃｒ以下である場合には、両者の平均をとることで、図３Ｆ、図３Ｇに示されるように、色ノイズを低減した平均色差信号Ｃｂ１′，Ｃｂ２′，Ｃｒ１′，Ｃｒ２′を取得することができる。

一方、図４Ａ、図４Ｃに示されるように、輝度信号Ｙ１，Ｙ２とＲ／Ｂ信号との相関が低い場合には、色差信号Ｃｂ１，Ｃｂ２，Ｃｒ１，Ｃｒ２は、図４Ｂおよび図４Ｄに示されるように変動する。
したがって、２枚の画像間で色差信号Ｃｂ１，Ｃｂ２，Ｃｒ１，Ｃｒ２が近似する領域では、上記と同様にして色ノイズを低減することができるが、色差信号Ｃｂ１，Ｃｂ２，Ｃｒ１，Ｃｒ２が大きく異なる領域、すなわち、図４Ｅに示されるように、差分が所定の閾値Ｓｃｂ，Ｓｃｒを超える領域が存在する場合には、差分が閾値Ｓｃｂ，Ｓｃｒとを超えない領域においてのみ両者の平均をとることで、図４Ｆ、図４Ｇに示されるように、その領域においては色ノイズを低減した平均色差信号Ｃｂ１′，Ｃｂ２′，Ｃｒ１′，Ｃｒ２′を取得することができる。これにより、輝度信号Ｙ１，Ｙ２とＲ／Ｂ信号との相関が低い領域についても一律に平均されてしまうことを防止することができる。

このように、本実施形態に係る画像処理装置１および画像処理方法によれば、同一の被写体について異なる撮影条件で取得された２枚の画像間にボケの差が発生していても、画像間の色差信号の相関が高い領域のみで平均処理が行われることにより、その領域についてはコントラストを維持したまま色ノイズを低減することができるという利点がある。すなわち、焦点距離の異なる２枚の画像に適用した場合に、色ノイズを抑えた被写界深度の高い画像を取得することができる。

なお、本実施形態においては、色空間変換手段６として、画像のＲＧＢ信号をＹＣｂＣｒ信号に変換し、２枚の画像間の色差信号の差分の絶対値が所定の閾値以下であることを条件として、２枚の画像の色差信号を平均することとした。
これに代えて、画像のＲＧＢ信号をＹＵＶ信号、ＹＰｂＰｒ信号に変換してもよい。

また、画像のＲＧＢ色空間をＬ＊ａ＊ｂ＊色空間あるいはＬ＊ｕ＊ｖ＊色空間に変換してもよい。
この場合、上記実施形態における輝度信号Ｙに代えて、明度を表すＬ＊信号を用い、色差信号Ｃｂ，Ｃｒ信号に代えて、色度座標値を表すａ＊信号、ｂ＊信号あるいはｕ＊信号、ｖ＊信号を用いればよい。

また、同一の被写体について異なる焦点距離で取得された２枚の画像を例示して説明したが、これに代えて、同一の被写体について異なる視差で取得された２枚の画像を処理する場合に適用してもよい。

１ 画像処理装置
６ 色空間変換手段（色空間変換部）
７ 閾値判定手段（色差分判定部）
８ 色平均手段（色平均部）
９ ＲＧＢ変換手段（ＲＧＢ変換部）
Ｓ１ 色空間変換ステップ
Ｓ２ 色差分判定ステップ
Ｓ５ 色平均ステップ

Claims (10)

1. 同一の被写体を異なる撮影条件で撮影して取得された２枚の画像のＲＧＢ信号から、輝度信号および色差信号を算出する色空間変換部と、
   該色空間変換部により算出された２枚の前記画像の前記色差信号の差分の絶対値が所定の閾値より小さいか否かを判定する色差分判定部と、
   該色差分判定部により、２枚の前記画像の前記色差信号の差分の絶対値が前記閾値よりも小さいと判定された場合に、２枚の前記画像の前記色差信号を平均して平均色差信号を算出する色平均部とを備える画像処理装置。
2. 前記色平均部により算出された前記平均色差信号と、前記色空間変換部により算出された前記輝度信号とからＲＧＢ信号を算出するＲＧＢ変換部を備える請求項１に記載の画像処理装置。
3. 前記色空間変換部が、２枚の前記画像のＲＧＢ信号から前記色差信号としてＣｂ信号およびＣｒ信号を算出する請求項１または請求項２に記載の画像処理装置。
4. 同一の被写体を異なる撮影条件で撮影して取得された２枚の画像のＲＧＢ信号から、明度信号および色度座標値を算出する色空間変換部と、
   該色空間変換部により算出された２枚の前記画像の前記色度座標値の差分の絶対値が所定の閾値より小さいか否かを判定する色差分判定部と、
   該色差分判定部により、２枚の前記画像の前記色度座標値の差分の絶対値が前記閾値よりも小さいと判定された場合に、２枚の前記画像の前記色度座標値を平均して平均色度座標値を算出する色平均部とを備える画像処理装置。
5. 前記色平均部により算出された前記平均色度座標値と、前記色空間変換部により算出された前記明度信号とからＲＧＢ信号を算出するＲＧＢ変換部を備える請求項４に記載の画像処理装置。
6. 前記色空間変換部が、２枚の前記画像のＲＧＢ信号から前記色度座標値としてａ＊信号およびｂ＊信号を算出する請求項４または請求項５に記載の画像処理装置。
7. ２枚の前記画像は、焦点距離が異なる請求項１から請求項６のいずれかに記載の画像処理装置。
8. ２枚の前記画像は、視差が異なる請求項１から請求項６のいずれかに記載の画像処理装置。
9. 同一の被写体を異なる撮影条件で撮影して取得された２枚の画像のＲＧＢ信号から、輝度信号および色差信号を算出する色空間変換ステップと、
   該色空間変換ステップにより算出された２枚の前記画像の前記色差信号の差分の絶対値が所定の閾値より小さいか否かを判定する色差分判定ステップと、
   該色差分判定ステップにより、２枚の前記画像の前記色差信号の差分の絶対値が前記閾値よりも小さいと判定された場合に、２枚の前記画像の前記色差信号を平均して平均色差信号を算出する色平均ステップとを含む画像処理方法。
10. 同一の被写体を異なる撮影条件で撮影して取得された２枚の画像のＲＧＢ信号から、明度信号および色度座標値を算出する色空間変換ステップと、
    該色空間変換ステップにより算出された２枚の前記画像の前記色度座標値の差分の絶対値が所定の閾値より小さいか否かを判定する色差分判定ステップと、
    該色差分判定ステップにより、２枚の前記画像の前記色度座標値の差分の絶対値が前記閾値よりも小さいと判定された場合に、２枚の前記画像の前記色度座標値を平均して平均色度座標値を算出する色平均ステップとを含む画像処理方法。
    

Images