JP6649176B2

JP6649176B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP6649176B2
Application number: JP2016101140A
Authority: JP
Inventors: 清孝向後
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2016-05-20
Filing date: 2016-05-20
Publication date: 2020-02-19
Anticipated expiration: 2036-05-20
Also published as: JP2017208748A

Description

本発明は、画像処理装置及び画像処理方法に係り、例えば、コントラスト調整を行い霞補正処理する画像処理装置及び画像処理方法に関する。

ＴＶやビデオカメラなどに代表される映像機器においては、原画像を忠実に再現す技術とともに、積極的に画像をきれいに見せる技術が採用されている。一方で、監視カメラや車載カメラなどの機器においては、安全性等の観点から、視認性を改善させる技術が重要視される傾向にある。

映像の視認性の改善のアプローチの一つとして、単一画像の局所的なコントラストを調整する技術がある。例えば、Ｙ信号（輝度信号）及びＣ信号（色度信号、クロマ信号）に対して独立に階調補正を施す場合に、原画の色付きに応じて、Ｃ信号の補正の強さを調整する技術がある（例えば、特許文献１参照）。

特開２００１−２３８１２９号公報

ところで、無彩色または彩度の低い撮像領域に、コントラスト拡張のような信号処理を施すと色度信号成分（クロマ成分）も強調され、本来の色再現性から乖離して不自然な色合いになる。実際に霧で覆われてコントラストが縮小されているシーンでは、色度信号成分の拡張は色再現性の観点から威力を発揮するが、実際に無彩色の撮像領域では偽色に近い色成分が強調されてしまうという課題がある。

本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。

本発明の画像処理装置は、画像データに関して、Ｙ信号成分とＣ信号成分とを取得するＹ／Ｃ信号取得部と、前記Ｙ信号成分と前記Ｃ信号成分とを伸長させて前記画像データのコントラストを調整するコントラスト調整部と、前記画像データのＲ成分、Ｇ成分及びＢ成分を取得するＲＧＢ成分取得部と、前記Ｒ成分、前記Ｇ成分及び前記Ｂ成分が、次の条件式
Ｒ≒Ｇ＜ＢまたはＲ≒Ｇ≒Ｂ
（但し、Ｒ：Ｒ成分の値、Ｇ：Ｇ成分の値、Ｂ：Ｂ成分の値）
を満たすか否かを判定する色相判定部と、前記画像データの同一フレーム内の輝度分布から輝度値の偏差を算出する輝度値偏差算出部と、前記輝度値の平均値と輝度信号値の定格中間値との差が一定内であるかを判断する輝度中間値比較部と、前記色相判定部によって前記条件式を満たしていると判定された場合であって、かつ、前記輝度値偏差算出部により算出された偏差が一定範囲以内であり、前記輝度中間値比較部により算出された差が一定範囲内である場合に、前記コントラスト調整部が前記Ｃ信号成分を伸張させるときの伸長係数をそれ以外の条件の場合と比較して高くする伸長係数算出部と、を備える。
本発明の画像処理方法は、画像データに関して、Ｙ信号成分とＣ信号成分とを取得するＹ／Ｃ信号取工程と、前記Ｙ信号成分と前記Ｃ信号成分とを伸長させて前記画像データのコントラストを調整するコントラスト調整工程と、前記画像データのＲ成分、Ｇ成分及びＢ成分を取得するＲＧＢ成分取得工程と、前記Ｒ成分、前記Ｇ成分及び前記Ｂ成分が、次の条件式
Ｒ≒Ｇ＜ＢまたはＲ≒Ｇ≒Ｂ
（但し、Ｒ：Ｒ成分の値、Ｇ：Ｇ成分の値、Ｂ：Ｂ成分の値）
を満たすか否かを判定する判定する色相判定工程と、記画像データの同一フレーム内の輝度分布から輝度値の偏差を算出する輝度値偏差算出工程と、前記輝度値の平均値と輝度信号値の定格中間値との差が一定内であるかを判断する輝度中間値比較工程と、前記色相判定工程によって前記条件式を満たしていると判定された場合であって、かつ、前記輝度値偏差算出工程により算出された偏差が一定範囲以内であり、前記輝度中間値比較工程により算出された差が一定範囲内である場合に、前記コントラスト調整工程が前記Ｃ信号成分を伸張させるときの伸長係数をそれ以外の条件の場合と比較して高くする伸長係数算出工程と、を備える。

本発明によると、コントラストの改善と色再現性の改善を両立する技術を提案することができる。

実施形態に係る、撮影システムの概略構成を示すブロック図である。実施形態に係る、コントラスト補正部のブロック図である。実施形態に係る、Ｃ信号に対するコントラスト補正処理を示すフローチャートである。

次に、本発明を実施するための形態（以下、単に「実施形態」という）を、図面を参照して具体的に説明する。本実施形態では、霧及霞補正を行っている撮像シーンにおいて無彩色または彩度の低い撮像領域に着目する。このような撮像領域において、Ｃ信号成分に対するコントラスト伸長度合（補正量）をＲＧＢ信号成分の比率（色相）により、判定・制御を行う。その結果、霞及霧のかからない撮像領域における色再現性の劣化を低減し、画質を改善する。以下、具体的に説明する。

図１は、本実施形態に係る撮影システム１の概略構成を示すブロック図である。撮影システム１は、撮像部２と、入力部３と、画像処理部４と、出力部５と、表示部６と、記録部７とを備える。

撮影システム１は、レンズや、ＣＭＯＳセンサ等のイメージセンサを備え、入力部３によって駆動制御される。カメラ信号は入力部３から画像処理部４へ所定形式の信号で、例えば、ＲＧＢ信号やＲＡＷ信号で出力される。

画像処理部４は、カメラ信号処理部２０と、コントラスト補正部３０とを備える。画像処理部４は、ＣＰＵ（中央演算装置）等のＬＳＩ（大規模集積回路）やメモリで構成され、そのメモリに記憶されたプログラムらが実行されることで、その機能が実現される。カメラ信号処理部２０は、入力部３から取得した所定形式の信号から、Ｙ信号とＣ信号を生成し、ガンマ処理やエッジエンハンサ処理などを施し、コントラスト補正部３０に出力する。

コントラスト補正部３０は、必要に応じてコントラスト補正処理を施し、出力部５へ出力する。出力部５は、出力先に応じて信号形式を変換し、表示部６や記録部７へ出力する。

図２は、コントラスト補正部３０の概略構成を示すブロック図である。コントラスト補正部３０は、コントラスト伸長部（Ｙ）１０１と、コントラスト伸長部（Ｃ）１０２とを備える。

コントラスト伸長部（Ｙ）１０１は、Ｙ信号に関して、公知の技術を用いてコントラストの伸長処理を行い、処理後のＹ信号（図中「Ｙ'」で表記する。）として後段に出力する。

コントラスト伸長部（Ｃ）１０２は、Ｃ信号に関して、コントラストの伸長処理を行い、処理後のＣ信号（図中「Ｃ'」と表記する。）として後段に出力する。

ここで、Ｃ信号に関して、Ｙ信号と同様にコントラストの伸長を行うと、無彩色或は無彩色に近い且つ霞及霧が存在しない被写体及撮像領域を撮像している場合、クロマ成分が伸長され、実際の色合いと比較して、無彩色及無彩色に近い撮像領域にて色成分が付着する等、色再現性が損なわれる。

すなわち、実際の屋外監視においては、オートホワイト処理においてＲ、Ｇ、Ｂ信号成分の比率から、色相を特定し、Ｒ、Ｇ、Ｂ信号成分を同率にする度合を変動させている場合がある。そこで、実際霧で覆われているシーンのＲ、Ｇ、Ｂ信号成分の比率、即ち色相を想定することで、クロマ成分すなわちＣ信号の拡張度合を制御する。

霧で覆われているシーンでは「Ｒ≒Ｇ＜Ｂ（色温度８０００Ｋ以上）」または、「Ｒ≒Ｇ≒Ｂ（色温度５０００〜７０００Ｋ程度）」のケースが比較的多い。この条件の場合には、クロマ成分（色度信号成分）の伸長率ｋを比較的高めの高伸長率ｋ_Ｈに設定する。これにより、霞や霧により低減された色飽和度が伸長され、色の判別が容易になる。

一方、「Ｒ＞＞Ｇ≒Ｂ（橙〜赤寄り）」、「Ｒ、Ｂ＞＞Ｇ（マゼンタ寄り）」、または「Ｇ＞＞Ｒ、Ｂ（緑寄り）」のような比率で霞が発生する頻度は低いものと想定する。この場合、霞及霧によるコントラストの低下ではないものと判定し、色度信号成分（クロマ成分）の伸長率ｋは控えめの低伸長率ｋ_Ｌに制御する。

尚、クロマ成分の伸長率ｋは予め適正な固定値である２つの値を持たせておき、０＜ｋ_Ｌ＜ｋ_Ｈの関係を保持するものとする。

ただし、霞及霧がかったシーンでは、コントラスト差（輝度偏差）が比較的小さい。また、シーン全体の輝度（同一フレーム内における輝度信号値）が白飛びするなど全体的に高めの状態であったり、逆に夜間及暗部のように全体的に低めの状態である場合を除外する必要がある。

ここで、輝度値の平均値Ｙａｖｅが、信号値の定格信号値（映像レベル１００％）と基準の黒レベル（０％）の中間値（５０％；以下、「定格中間値Ｙｍ」という。）に近い。そこで、輝度値の平均値Ｙａｖｅと定格中間値Ｙｍの差分（Ｙａｖｅ−Ｙｍ）が一定以下の場合、コントラスト差が低めで霞及霧がかかったシーンに近づくものと見なす。すなわち、輝度偏差が所定以下及び輝度値の平均値Ｙａｖｅと定格中間値Ｙｍの差（Ｙａｖｅ−Ｙｍ）が一定範囲内である場合のみに、上述した伸長率ｋを高伸長率ｋ_Ｈに設定する処理を行う。

コントラスト伸長部（Ｃ）１０２が処理を行う際の伸長係数ｋに関して、シーン判定を行い調整する処理を行う。その処理を行う具体的な構成として、コントラスト補正部３０は、ＲＧＢ変換部１０３と、フレーム積分回路１０４と、霞シーン判定部１００とを備える。

ＲＧＢ変換部１０３は、Ｙ／Ｃ信号（Ｙ信号及びＣ信号）をＲＧＢ信号に変換し、フレーム積分回路１０４へ出力する。なお、ＲＧＢ変換部１０３は、入力部３が取得した信号がＲＧＢ信号の場合、入力部３からＹ／Ｃ信号に変換前のＲＧＢ信号を直接取得してもよい。また、入力部３が取得した信号がＲＡＷ信号の場合、ＲＧＢ変換部１０３は、色分離補間処理によりＲＧＢ信号に変換する。

フレーム積分回路１０４は、ＲＧＢ変換部１０３からＲＧＢ信号を取得し、各信号値についてフレーム積分を行い、ＲＧＢ信号値の積分値（Ｒ'、Ｇ'、Ｂ'）として毎フレーム周期で更新し霞シーン判定部１００へ出力する。

霞シーン判定部１００は、色相判定部１０５と、輝度偏差算出部１０７と、輝度中間値比較部１０８とを備える。色相判定部１０５は、伸長係数算出部１０６を備える。

色相判定部１０５は、ＲＧＢ信号値の積分値に関して、色相（Ｒ、Ｇ、Ｂ、Ｃｙ、Ｙｅ、Ｍｇの６通り）を判定する。

輝度値偏差算出部１０７は、Ｙ信号に関して、同一フレーム内で個々の画素値の分布から輝度値の偏差を算出し、当該偏差から、コントラストの偏り度合を判定する。画素値の分布に関しては、輝度信号値のレベルに区間を設け、毎画素の信号値から各レベル区間に振り分けを行い、各レベル区間で該当する画素数をカウントする。この輝度レベル区間に応じた画素数の分布を毎回フレーム期間で生成する。つまり、輝度の度数分布の情報を生成し、フレーム毎に更新する。

輝度中間値比較部１０８は、輝度の定格中間値との差分が一定以下の場合、コントラスト差が低めで霞及霧がかかったシーンに近づくものと見なし、輝度値の情報も併せて判定基準にする。

色相判定部１０５の伸長係数算出部１０６は、判定された色相及輝度値の分布から、クロマ信号成分（Ｃ）のコントラスト伸長部（Ｃ）１０２における伸長度合を定める係数（伸長係数ｋ）を算出し、コントラスト伸長回路１０６に指示する。

具体的には、色相判定部１０５は、色相がＲ、Ｂ寄り、及び無彩色寄りである場合、輝度値の分布を判定する。霞及霧がかったシーンでは、コントラスト差（輝度値の偏差）が比較的小さくかつ、輝度値の平均値Ｙａｖｅが信号値の定格信号値（映像レベル１００％）と基準の黒レベル（０％）の中間値（５０％）に近い。そこで、輝度値の分布が当該条件に該当するとき、伸長係数ｋを高めの高伸長率ｋ_Ｈに制御し、色相がＧ及び、Ｍｇ寄りであれば、伸長係数ｋを低めの低伸長率ｋ_Ｌに制御する。

コントラスト伸長部（Ｃ）１０２は、伸長係数算出部１０６の指示、すなわち、適用する伸長係数ｋ（高伸長率ｋ_Ｈ、低伸長率ｋ_Ｌ）を取得し、クロマ信号成分（Ｃ）に反映させＹ信号（Ｃ'）として出力する。

以上の構成によるコントラスト補正部３０の動作、特にＣ信号に対するコントラスト補正処理について図３のフローチャートを参照し、まとめて説明する。

ＲＧＢ変換部１０３は、カメラ信号処理部２０から取得した信号（入力映像）がＹ／Ｃ信号であるか否かを判断する（Ｓ１０）。Ｙ／Ｃ信号の場合（Ｓ１０のＹ）、ＲＧＢ変換部１０３は、Ｙ／Ｃ信号をＲＧＢ信号に変換しフレーム積分回路１０４へ出力する（Ｓ１２）。

Ｙ／Ｃ信号でない場合（Ｓ１０のＮ）、ＲＧＢ変換部１０３は入力映像がＲＧＢ信号であるか否かを判断する（Ｓ１４）。ＲＧＢ信号である場合（Ｓ１４のＹ）、ＲＧＢ変換部１０３は特に処理を行わずフレーム積分回路１０４へ出力する。ＲＧＢ信号でなくＲＡＷ信号である場合（Ｓ１４のＮ）、ＲＧＢ変換部１０３は色分離補間処理によりＲＧＢ信号に変換しフレーム積分回路１０４へ出力する（Ｓ１６）。ここまでの処理により、ＲＧＢ変換部１０３からフレーム積分回路１０４へＲＧＢ信号が出力される。

つづいて、フレーム積分回路１０４は、取得したＲＧＢ信号の値についてフレーム積分を行い、ＲＧＢ信号値の積分値（Ｒ'、Ｇ'、Ｂ'）として毎フレーム周期で更新し霞シーン判定部１００へ出力する（Ｓ１８）。

色相判定部１０５は、ＲＧＢ信号値の積分値に関して大小を比較し（Ｓ２０）、色相（Ｒ、Ｇ、Ｂ、Ｃｙ、Ｙｅ、Ｍｇの６通り）を判定する（Ｓ２２）。より具体的には、「Ｒ≒Ｇ＜Ｂ（色温度８０００Ｋ以上）」または、「Ｒ≒Ｇ≒Ｂ（色温度５０００〜７０００Ｋ程度）」であるか否かを判定する。

「Ｒ≒Ｇ＜Ｂ（色温度８０００Ｋ以上）」または、「Ｒ≒Ｇ≒Ｂ（色温度５０００〜７０００Ｋ程度）」でない場合（Ｓ２２のＮ）、色相判定部１０５は、霞等によるコントラストの低下ではないものと判定し、伸長率ｋを低伸長率ｋ_Ｌに制御する（Ｓ２４）。

「Ｒ≒Ｇ＜Ｂ（色温度８０００Ｋ以上）」または、「Ｒ≒Ｇ≒Ｂ（色温度５０００〜７０００Ｋ程度）」である場合（Ｓ２２のＹ）、色相判定部１０５は、霞等によるコントラストの低下の可能性が高いと判断し、さらに次の処理（Ｓ２６〜Ｓ３０）により、伸長係数ｋを高めの高伸長率ｋ_Ｈに制御するか否かを判断する。

色相判定部１０５は、画素輝度値の分布から輝度値の偏差、すなわちコントラスト差を算出し（Ｓ２６）、伸長係数算出部１０６はコントラスト差が所定以下か否かを判断する（Ｓ２８）。コントラスト差が所定より大きい場合（Ｓ２８のＮ）、伸長係数算出部１０６は伸長率ｋを低伸長率ｋ_Ｌに制御する（Ｓ２４）。

コントラスト差が所定以下の場合（Ｓ２８のＹ）、伸長係数算出部１０６は輝度値の平均値Ｙａｖｅが輝度定格中間値Ｙｍに近いか否か、すなわちそれらの差分（Ｙａｖｅ−Ｙｍ）が、一定範囲内にあるか否かを判断する（Ｓ３０）。

一定範囲内にない場合（Ｓ３０のＮ）、伸長係数算出部１０６は伸長率ｋを低伸長率ｋ_Ｌに制御する（Ｓ２４）。一定範囲内にある場合（Ｓ３０のＹ）、伸長係数算出部１０６は伸長率ｋを高伸長率ｋ_Ｈに制御する（Ｓ３２）。

以上、本実施形態によると、霞及霧によるコントラスト低下のシーンに対して色調補正を有効にする精度が向上し、実運用上、屋外監視による視認性の向上及び、色再現性の改善に寄与する。

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１撮影システム
２撮像部
３入力部
４画像処理部
５出力部
６表示部
７記録部
２０カメラ信号処理部
３０コントラスト補正部
１００霞シーン判定部
１０１コントラスト伸長部（Ｙ）
１０２コントラスト伸長部（Ｃ）
１０３ＲＧＢ変換部
１０４フレーム積分回路
１０５色相判定部
１０６伸長係数算出部
１０７輝度偏差算出部
１０８輝度中間値比較部

Claims

画像データに関して、Ｙ信号成分とＣ信号成分とを取得するＹ／Ｃ信号取得部と、
前記Ｙ信号成分と前記Ｃ信号成分とを伸長させて前記画像データのコントラストを調整するコントラスト調整部と、
前記画像データのＲ成分、Ｇ成分及びＢ成分を取得するＲＧＢ成分取得部と、
前記Ｒ成分、前記Ｇ成分及び前記Ｂ成分が、次の条件式
Ｒ≒Ｇ＜ＢまたはＲ≒Ｇ≒Ｂ
（但し、Ｒ：Ｒ成分の値、Ｇ：Ｇ成分の値、Ｂ：Ｂ成分の値）
を満たすか否かを判定する色相判定部と、
前記画像データの同一フレーム内の輝度分布から輝度値の偏差を算出する輝度値偏差算出部と、
前記輝度値の平均値と輝度信号値の定格中間値との差が一定内であるかを判断する輝度中間値比較部と、
前記色相判定部によって前記条件式を満たしていると判定された場合であって、かつ、前記輝度値偏差算出部により算出された偏差が一定範囲以内であり、前記輝度中間値比較部により算出された差が一定範囲内である場合に、前記コントラスト調整部が前記Ｃ信号成分を伸張させるときの伸長係数をそれ以外の条件の場合と比較して高くする伸長係数算出部と、を備える
ことを特徴とする画像処理装置。
画像データに関して、Ｙ信号成分とＣ信号成分とを取得するＹ／Ｃ信号取工程と、
前記Ｙ信号成分と前記Ｃ信号成分とを伸長させて前記画像データのコントラストを調整するコントラスト調整工程と、
前記画像データのＲ成分、Ｇ成分及びＢ成分を取得するＲＧＢ成分取得工程と、
前記Ｒ成分、前記Ｇ成分及び前記Ｂ成分が、次の条件式
Ｒ≒Ｇ＜ＢまたはＲ≒Ｇ≒Ｂ
（但し、Ｒ：Ｒ成分の値、Ｇ：Ｇ成分の値、Ｂ：Ｂ成分の値）
を満たすか否かを判定する判定する色相判定工程と、
前記画像データの同一フレーム内の輝度分布から輝度値の偏差を算出する輝度値偏差算出工程と、
前記輝度値の平均値と輝度信号値の定格中間値との差が一定内であるかを判断する輝度中間値比較工程と、
前記色相判定工程によって前記条件式を満たしていると判定された場合であって、かつ、前記輝度値偏差算出工程により算出された偏差が一定範囲以内であり、前記輝度中間値比較工程により算出された差が一定範囲内である場合に、前記コントラスト調整工程が前記Ｃ信号成分を伸張させるときの伸長係数をそれ以外の条件の場合と比較して高くする伸長係数算出工程と、を備える
ことを特徴とする画像処理方法。