JP6469451B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理によって、人の目で見た動画像の視認性を高める機能を有する画像処理装置に関する。

近年、画像を伝送するためのデータ量は日々増加している。２０１１年に切り替わった地上デジタル放送の影響もあり、一般的に使用される画像の解像度はこれまでのアナログ解像度（720pix×480pix）からＦｕｌｌ ＨＤ解像度（1920pix×1080pix）へと変化している。また、更に高解像度化する流れがある。駅や空港、ビルや河川といった様々なロケーションで使用されるカメラにおいてもＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサの高精細化が進み、解像度は従来のアナログ解像度から飛躍的に向上した。

また、安全・安心が求められる社会情勢の中で、監視分野ではカメラで撮影した映像を忠実に再現することに加え、カメラで撮影した映像から、人・動物・物（車や二輪車）など様々な情報を検出する画像処理技術も向上している。そうした画像処理の中でも画像の視認性を高める技術が近年重要視されている。

画像の視認性を高める技術としては、これまで様々な提案が為されており、例えば、特許文献１などがある。
特許文献１は、ダイナミックレンジの大きいシーンの撮影を可能とするワイドダイナミックレンジ機能を備える撮像装置を開示している。また、特許文献１には、デジタルビデオカメラやスチルカメラにおいて、ダイナミックレンジの拡大を実現すると共に、ＰＣなどの外部接続機器による精度のよい被写体認識処理により、ユーザが注目したい被写体の視認性を向上させることが記載されている。

図６は、画像の視認性について説明するための説明図である。図６に示した画像は、白黒の濃淡で表現したグレースケール画像であり、画像（ａ）および（ｂ）において、それぞれ中心部にある四角い領域１０３および１０４の画素値は同一である。
しかしなから、人間の目には、画像（ａ）の四角い領域１０３の方が、画像（ｂ）の四角い領域１０４に比べて明るく見える。これは、画像（ａ）および（ｂ）それぞれのダイナミックレンジが関係している。画像におけるダイナミックレンジとは、画像内の画素値の最大値と最小値の差を比率で表現したものである。

次に、図６の画像（ａ）および（ｂ）のダイナミックレンジの概略について、図７を用いて説明する。図７は、画像のダイナミックレンジについて説明するための説明図である。
図６に示すグレースケール画像は、１画素を８ビットで表し、色情報は含まず明るさ情報のみを含んでいる。この８ビット画像では、濃淡を２の８乗＝２５６階調まで表すことができる。したがって、図７に示すように、黒色が画素値０、白色が画素値２５５となり、左から右側にいくほど画素値（輝度値）が高く明るくなっている。

そこで、図６で示した画像に関するそれぞれの部位の画素値をプロットしてみると、図６の画像（ａ）および（ｂ）のそれぞれ中心部にある四角い領域１０３および１０４の画素値は、図７において画素値２０３となる。また、画像（ａ）の外側の領域１０１の画素値は画素値２０４、また、画像（ｂ）の外側の領域１０２の画素値は画素値２０５となる。よって、画像（ａ）のダイナミックレンジは２０１となり、また、画像（ｂ）のダイナミックレンジは２０２となる。
したがって、上述した画像（ａ）の四角い領域１０３が画像（ｂ）の四角い領域１０４よりも明るく見えるということは、画像（ａ）の方が画像（ｂ）に比べてダイナミックレンジが広い、ということを意味している。ゆえに、ダイナミックレンジを拡大することで画像の視認性を高めることが可能ということになる。

特開２０１１−２５４３４０号公報

しかしながら、上述したダイナミックレンジを拡大する処理において、もっとも暗い画素の値＝黒レベルは非常に重要であり、黒レベルが正しい値になっていないと、黒潰れまたは白飛びといった問題が発生してしまう。また、ダイナミックレンジを拡大する処理において、画素値を拡大するかどうかは黒レベルを基準に判断する。よって、黒レベルが正しい値でない場合、例えば黒レベルが本来の黒の値よりも大きい値であった場合、ダイナミックレンジを拡大する処理によって、本来は黒レベルとする画素値を拡大してしまうため、全体的に明るい(白っぽく、霞がかったような)画像となってしまう。

従来は、この黒レベルを人の目で見て手動で設定(固定化)していた。従来手法において、黒レベルを固定化した場合、カメラの撮像部から入力される黒レベルは、その後段で行われるセンサ処理(γ（ガンマ）補正やｇａｉｎ制御)によって、その都度変化してしまう。また、カメラの種類によっても、黒レベルは微妙に異なる。この黒レベルの僅かな差異が、ダイナミックレンジを拡大するような視認性を高める画像処理において大きな差異となってしまい、場合によっては視認性を低下させてしまうといった問題を引き起こすことになる。

本発明は、このような従来の事情に鑑みなされたものであり、センサ処理部から入力された黒レベルを判断し、ダイナミックレンジを拡大する処理において、黒レベルを保持する機能を有し、保持した黒レベルによって、ダイナミックレンジを拡大する処理のパラメータ等を調整することにより、画像の視認性を高めることが可能な画像処理装置を提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、カメラから入力された画像を処理する画像処理装置であって、撮影した画像をデジタル変換し、デジタル変換した映像信号と当該映像信号の黒レベルを出力するカメラと、前記カメラから入力された映像信号の輝度や明るさに関する補正処理を行い、補正処理後の映像信号と当該映像信号の黒レベルを出力するセンサ処理部と、前記センサ処理部から入力された黒レベルを下限値として、前記センサ処理部から入力された映像信号のダイナミックレンジの拡大処理を行うダイナミックレンジ拡大処理部と、を有することを特徴とする。

また、上記した画像処理装置において、前記センサ処理部は、ガンマ補正および／またはゲイン制御の処理を行うことを特徴とする。

また、上記した画像処理装置において、前記ダイナミックレンジ拡大処理部は、画像の先頭フレームに対してのみ、黒レベルを保持し、当該黒レベルに基づいてダイナミックレンジの拡大処理を行うことを特徴とする。

本発明によれば、センサ処理部から入力された黒レベルを判断し、ダイナミックレンジを拡大する処理において、黒レベルを保持する機能を有し、保持した黒レベルによって、ダイナミックレンジを拡大する処理のパラメータ等を調整することにより、画像の視認性を高めることができる。

本発明の一実施形態に係る画像処理装置の構成の一例を示すブロック図である。 ＤＲＣ処理前後における画像の輝度成分ヒストグラムである。 図２と同様にＤＲＣ処理前後における画像の輝度成分ヒストグラムを示す図である。 明るさを変えた２つの画像の例を示す図である。 本発明の一実施形態に係る画像処理装置での処理の流れを示すフローチャートである。 画像の視認性について説明するための説明図である。 画像のダイナミックレンジについて説明するための説明図である。

以下に、本発明の一実施形態に係る画像処理装置について説明する。
本発明の一実施形態に係る画像処理装置は、センサ処理部から入力された黒レベルを判断し、ダイナミックレンジを拡大する処理において、黒レベルを保持する機能を有し、保持した黒レベルによって、ダイナミックレンジを拡大する処理のパラメータ等を調整することにより、画像の視認性を高めることができるものである。

［画像処理装置の構成］
次に、本発明の一実施形態に係る画像処理装置の構成について、図１を参照して説明する。図１は、本発明の一実施形態に係る画像処理装置の構成の一例を示すブロック図である。
本発明の一実施形態に係る画像処理装置１は、図１に示すように、カメラセンサ１０と、センサ処理部２０と、ダイナミックレンジ拡大処理部３０とから構成される。

カメラセンサ１０は、画角範囲を撮像し、所定の時間周期で撮像した画像を、図示していないＡ／Ｄ変換器でデジタル映像信号に変換して、映像信号（ｖ）としてセンサ処理部２０に出力する。
センサ処理部２０では、カメラセンサ１０から入力された映像信号（ｖ）を図示していない表示部の特性に合わせるためのγ（ガンマ）補正や画像の明るさを調整するために増幅回路を使用したゲイン制御が行われる。
なお、カメラセンサ１０からは、本来フレーム毎にセンサブラックと呼ばれる絶対黒レベル（Ａ）３０１を示す値がセンサ処理部２０に出力される。この絶対黒レベル（Ａ）３０１は、センサ処理部２０において、γ補正やゲイン処理が行われる。センサ処理部２０では、カメラセンサ１０から入力された絶対黒レベル（Ａ）３０１に対しても、画像と同様の信号処理が為され、黒レベル（Ａ’）３０２が得られる機能を有する。ダイナミックレンジ拡大処理部３０では、前述した処理後の黒レベル（Ａ’）３０２が入力されることで黒レベル（Ａ’）３０２を示す値を保持する。
ダイナミックレンジ拡大処理部３０では、センサ処理部２０から入力された映像信号に対し、保持した黒レベル（Ａ’）３０２を示す値に基づきダイナミックレンジを拡大するダイナミックレンジコントロール（ＤＲＣ）処理を行う。

ここで、ダイナミックレンジ拡大処理部３０で行われるＤＲＣの基本的な処理概念について、図２を用いて説明する。図２は、ＤＲＣ処理前後における画像の輝度成分ヒストグラムであり、横軸は階調(画素値)、縦軸はその頻度をあらわしている。そして、このヒストグラムにおける階調の最大値と最小値の差が当該画像におけるダイナミックレンジになる。

ＤＲＣ処理においては、入力画像に対して、図２（ａ）に示すような画像のヒストグラムを生成し、画像のコントラストを維持しながら、図２（ｂ）に示すようなダイナミックレンジを拡大する処理を行う。結果、画像における明暗の差が拡大されることによって、画像の視認性が向上する。

一般的に画像の黒レベルというのは“０”であって、センサブラックと呼ばれる絶対黒レベルであるが、入力のＩ／Ｆ仕様やＤＲＣ処理の前段で行われる前処理によって、黒レベルが“０”でない場合がある。このようなケースにおいては、黒レベルをＤＲＣ制御において利用する必要がある。
以下、図３を用いてその違いを説明する。

図３は、図２と同様にＤＲＣ処理前後における画像の輝度成分ヒストグラムを示している。真ん中の図３（ａ）のヒストグラムはＤＲＣ処理前、上段の図３（ｂ）のヒストグラムは黒レベルを利用せず、黒レベルを“０”として処理した場合のＤＲＣ処理後のヒストグラム、また、下段の図３（ｃ）のヒストグラムは黒レベルを利用して処理を行った後のＤＲＣ処理後のヒストグラムを示している。

ＤＲＣ処理前のヒストグラムが図３（ａ）のような形状をしている場合に、図３（ｂ）のように黒レベルを “０”（ 絶対黒レベル）としてＤＲＣ処理を行う場合と、図３（ｃ）のようにＤＲＣ処理前のヒストグラムの左端が黒レベルであるとしてＤＲＣ処理を行った場合とでは、ＤＲＣ処理後のヒストグラムの全体的な位置が異なることが分かる。
これは、ＤＲＣ処理におけるダイナミックレンジの拡大処理において、ＤＲＣ処理前の黒レベル以下に画素値をしないようＤＲＣ処理を行うためである。図３におけるＤＲＣ処理後のヒストグラムを見てわかる通り、黒レベルを“０”（ 絶対黒レベル）としてＤＲＣ処理を行った画像は、ＤＲＣ処理前の黒レベルを利用してＤＲＣ処理を行った画像と比較すると、全体的に暗い画像になることが分かる。

なお、仮にセンサ処理部２０でｇａｉｎ制御を行った映像の画素値が高くなる方向に偏った場合、つまり図３（ａ）においてヒストグラムが明部側（右側）に偏った映像がダイナミックレンジ拡大処理部３０に対して入力された場合には、黒レベルの位置に合わせて、ダイナミックレンジを調整することになるので、白飛びが改善されることになる。

ここで、図４に明るさを変えた２つの画像の例を示す。図４（ａ）はＤＲＣ処理において黒レベルを利用しない場合（図３（ｂ）に相当）を示しており、図４（ｂ）はＤＲＣ処理において黒レベルを利用した場合を示している。両方の画像を比較すると、全体的に明るさの異なる画像となっており、図４（ｂ）の画像の方が視認性の高い画像となっていることが分かる。
上記したように、ダイナミックレンジ拡大処理部３０では、画像のヒストグラムを拡大する処理において、黒レベルを画素値の下端（ヒストグラムの左端）に設定する処理に使用する。

次に、本発明の一実施形態に係る画像処理装置１での処理の流れについて、図５を参照して説明する。図５は、本発明の一実施形態に係る画像処理装置での処理の流れを示すフローチャートである。
図５に示すように、黒レベルの検出はダイナミックレンジ拡大処理を行う前に行う必要があるため、センサ処理部２０は、画像フレームの先頭の検出を行い（ステップＳ１０１）、フレームが先頭である場合には（ＹＥＳ）、フレーム先頭にて黒レベルの値を保持(更新)する（ステップＳ１０２）。なお、この保持する処理は画像途中で行うと、処理後の画像において部分的な効果しか得られない場合や、悪影響を与える(視認性を低下させてしまう)ことがあるため、処理の途中で更新することはしない。また、黒レベルの更新タイミングについては、毎フレーム単位で更新することが望ましいが、ユーザから指定することも可能とする。

次に、ダイナミックレンジ拡大処理部３０では、保持(更新)した黒レベルを用いてダイナミックレンジを拡大する処理を行う（ステップＳ１０３）。なお、ダイナミックレンジを拡大する処理の方式については、前述した特許文献１(特開２０１１−２５４３４０号公報)に記載された方式などを用いてもよい。そして、この時、黒レベルを基にダイナミックレンジ拡大処理を行うことで、上記したように、黒潰れや白飛びといった問題を回避することができる。
次に、ステップＳ１０４において、全ての画像についての処理が終了したかの判断を行い、全ての画像について処理が終了していれば（ＹＥＳ）、処理を終了し、まだ、処理が終了していなければ（ＮＯ）、ステップＳ１０１に戻る。

以上説明したように、本発明の一実施形態に係る画像処理装置によれば、センサ処理部から入力された黒レベルを判断し、ダイナミックレンジを拡大する処理において、黒レベルを保持する機能を有し、保持した黒レベルによって、ダイナミックレンジを拡大する処理のパラメータ等を調整することにより、画像の視認性を高めることができる。
また、黒潰れや白飛びといった視認性を低下させる現象を改善させることができる。
また、カメラセンサの機種による黒レベルの微妙な差異についても吸収することが可能である。

なお、上記した実施形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。

１：画像処理装置、１０：カメラセンサ、２０：センサ処理部、３０：ダイナミックレンジ拡大処理部、１０１：画像（ａ）の外側の領域、１０２：画像（ｂ）の外側の領域、１０３：画像（ａ）の四角い領域、１０４：画像（ｂ）の四角い領域、２０１：画像（ａ）のダイナミックレンジ、２０２：画像（ｂ）のダイナミックレンジ、２０３，２０４，２０５：画素値、３０１：黒レベル（Ａ）、３０２：黒レベル（Ａ’）。

Claims (4)

1. カメラから入力された画像を処理する画像処理装置であって、
   撮影した画像をデジタル変換し、デジタル変換した映像信号と当該映像信号の黒レベルを出力するカメラと、
   前記カメラから入力された映像信号の輝度や明るさに関する補正処理を行い、前記補正処理後の映像信号と当該映像信号の黒レベルを出力するセンサ処理部と、
   前記センサ処理部から入力された黒レベルを下限値として、前記センサ処理部から入力された映像信号のダイナミックレンジの拡大処理を行うダイナミックレンジ拡大処理部と、
   を有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記センサ処理部は、
   前記カメラから入力された映像信号の輝度や明るさに関する補正処理を行い、前記カメラから入力された前記黒レベルに前記補正処理と同様の処理を行い、前記補正処理後の映像信号と前記処理後の黒レベルとを出力する
   ことを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記センサ処理部は、
   ガンマ補正および／またはゲイン制御の処理を行う
   ことを特徴とする画像処理装置。
4. 請求項１〜３のいずれか１項に記載の画像処理装置において、
   前記ダイナミックレンジ拡大処理部は、
   画像の先頭フレームに対してのみ、黒レベルを保持し、当該黒レベルに基づいてダイナミックレンジの拡大処理を行う
   ことを特徴とする画像処理装置。