JPWO2016203922A1 - 撮像装置及び画像処理方法 - Google Patents

Abstract

画像のコントラストを伸長する際に、対象となる輝度の上下限値を精度良く決定する方法が開示される。上下限値探索処理部43が、濃淡ヒストグラムの輝度に沿って隣接する２つの領域を設定し、その領域の位置を走査しながらその領域の度数を閾値と比較して、一方の度数が閾値以上で他方の度数が閾値未満である場合に、両領域の境界となる輝度値を上限値又は下限値として決定する上下限値探索処理を行っている。上下限値の探索開始位置や度数の閾値は、処理対象の画像の濃淡ヒストグラムの形状に基づいて、適応的に設定される。濃淡ヒストグラムの形状は、予め定めた分類によって識別される。形状識別器42は、「一般型」「やり型」「平型」等の複数のパターンに識別するように、機械学習のアルゴリズムを用いて得られた登録パターンを記憶する。

Description

本発明は、画像データの濃淡ヒストグラムを用いて、画像のコントラストを拡張する撮像装置及び画像処理方法に係り、特に輝度値の上下限値算出において、処理時間を短縮すると共に算出精度を向上させることができる撮像装置及び画像処理方法に関する。

［先行技術の説明：図９］
従来の撮像装置には、明るい画像や暗い画像を見やすく補正するために、画像処理部において、入力された画像の濃淡ヒストグラムを用いてコントラストを調整する処理を行うものがある。
図９は、従来の撮像装置におけるコントラスト調整を示す説明図である。

濃淡ヒストグラムは、画像における画素の輝度レベル（輝度）とその出現頻度（度数）とを示す度数グラフであり、図９（ａ）に示すように、明るい画像の濃淡ヒストグラムは、高い輝度値の度数が高く、ピークが高輝度側に偏った形状になる。
また、（ｂ）に示すように、暗い画像の濃淡ヒストグラムは、低輝度側に偏った形状になる。
これらの画像は、いずれも画面におけるコントラストの差が小さく、視認性が低い（見にくい）。

このように輝度値分布が偏った濃淡ヒストグラムについて、（ｃ）に示すように、度数の高い輝度範囲を抽出して、当該範囲の輝度値分布を全体に広げる処理（濃淡ヒストグラム拡大）を行う。
これにより、画像の濃淡の階調が広がって視認性が向上し、見やすい補正画像を生成することができるものである。

［従来の濃淡ヒストグラム拡大処理の概要:図１０］
図１０は、従来の撮像装置における濃淡ヒストグラム拡大処理の概要を示す説明図である。
図１０に示すように、従来の撮像装置の画像処理部では、入力された元画像（ａ）から、濃淡ヒストグラムを計算する（ｂ）。

次に、画像の輝度値がまとまっている（度数が高い）範囲を取り出すための輝度値の上限値と下限値を決定する（ｃ）。
そして、上限値が最大輝度値に、下限値が最小輝度値になるように全体の輝度値を補正して、ヒストグラムを拡張し（ｄ）、補正画像（ｅ）を得る。
つまり、濃淡ヒストグラムを拡大するには、抽出される、分布が多い輝度値の範囲（上限及び下限）を決定する必要がある。

監視用途においてリアルタイムに最適な上下限値を算出して映像補正を行うために、上下限値を映像プロセッサによって自動的に算出する手法が提案されている。
例えば、濃淡ヒストグラムの上下限値は、ヒストグラムの山の麓に設定するのが最適であるとの考えから、山の麓を上下限値として検知するよう自動化している。
濃淡ヒストグラムを拡大は、映像フレーム全体に対して一律に行う場合と、フレームを格子状に分割した部分画像毎に行う場合があり、後者は並列分散処理による実装に適する。
また、装置に組み込むためには、小さなロジック規模での実現が求められる。

［従来の上下限値の算出方法：図１１］
図１１は、従来の濃淡ヒストグラムの上下限値算出の一例を示す説明図である。
少ないロジック容量で上下限値を算出できる手法として、図１１に示すように、ヒストグラムにおける連続する２つの領域の分布を用いる手法が提案されている。
まず、ヒストグラムの端から、任意に決めた連続（隣接）する２つの区間（階級）の度数を求める（ａ）。図１１（ａ）では高輝度側から探索しており、上限値候補となるPu′を中心として高輝度側と低輝度側に同じ幅の区間（ビン）を設定し、当該２つのビンにおける度数を求める。

そして、当該２つの領域の度数を予め設定された閾値（Th）と比較する。
（ａ）の例では、２つの領域の度数が、両方とも閾値未満であるため、次の映像フレームで上限値候補Pu′を低輝度側に一定量移動して、同様に上限値候補Pu′を中心とする２つのビンの度数を閾値と比較する（ｂ）。
そして、２つのビンにおける度数が両方とも閾値以上となれば（ｃ）、上限値候補 Pu′を高輝度側に移動する。

この処理を繰り返し、一方のビンの度数が閾値以上、他方が閾値未満となったとき、両者の境目となる上限値候補Pu′を山の麓と判断して、上限値（Pu）に決定する（ｄ）。
この様に、２つの領域の内、一方の度数が閾値以上であり、他方の度数が閾値未満であるかどうかを判定する処理を判定処理とする。
なお、実際の度数グラフ（ヒストグラム）は図１１に示されるほど滑らかではない。「ビンの度数」には、度数そのものではなく、そのビンの度数の分布を代表する値、例えばそのビンおよびその両側の領域を含む３つの領域に亘る平均値や中央値等を用いることがある。その場合、隣接する２つのビンの度数を得るには、内部的には連続する４つの領域について度数を計数する。

下限値についても同様に、ヒストグラムの低輝度側の端から下限値候補Pl′を順次移動して判定処理を行い、下限値候補Pl′を挟む２つの領域の度数が、一方が閾値以上、他方が閾値未満となった場合に当該下限値候補Pl′を下限値（Pl）に決定する。

しかし、従来技術では、ビンを少しずつ移動させるため、上下限値が決定するのに５〜１０フレーム必要である。
このことは、映像の補正が瞬時に行われず、例えば、暗い画像が明るくなるまで数フレームかかることを意味する。

［ヒストグラム形状による違い：図１２］
また、ヒストグラム形状による問題もある。図１２は、ヒストグラムの形状による違いを示す説明図である。
上述した２つの領域を用いた上下限値の算出では、図１２（ａ）に示すように、一般的な形状のヒストグラムを想定した閾値を用いて行われるため、ヒストグラムの形状によっては最適な上下限値を決定することができない。

たとえば、図１２（ｂ）に示すようなやり型の場合、上限値（Pu）は山の麓よりも遠くに決定されてしまうため、最適な値が決定されたとは考えられない。
つまり、濃淡ヒストグラムの形状によって、上下限値決定の精度にバラつきがある。

［関連技術］
尚、画像のコントラストを向上させる技術としては、特表２００６−５００６４３号公報「装置のダイナミック補充による、マルチクラスヒストグラム計算および処理装置での一次元／多次元パラメータの分析による特徴抽出及び認識のためのアクティブ視覚的認知方法及び装置」（ホールディング・ベ・エ・ヴェ・ソシエテ・アノニム、特許文献１）、特開２０１３−５５５５２号公報「撮像装置」（日立コンシューマエレクトロニクス株式会社、特許文献２）がある。

特許文献１には、濃淡ヒストグラムを用いて画像を鮮明化する処理方法及び装置が記載されている。
また、特許文献２には、濃淡ヒストグラムに応じてコントラストを補正する範囲及び補正する度合いを制御する制御パラメータを生成して、当該制御パラメータに従って画像のＤＣ成分及びＡＣ成分の信号量を変化させてコントラストを補正することが記載されている。

特表２００６−５００６４３号公報 特開２０１３−５５５５２号公報 特開２００８−１０４０１６号公報 特許第４２７７７７３号公報

しかしながら、上述したように、従来の撮像装置及び画像処理方法では、濃淡ヒストグラムの上下限値を決定する際に、候補値を少しずつ移動させて探索するため、決定までの収束時間が長いという問題点があった。これは、リアルタイムで監視する場合には特に大きな問題となる。

また、従来の撮像装置及び画像処理方法では、濃淡ヒストグラムの形状によっては上下限値を適切に算出できず、精度にバラつきがあるという問題点があった。

更に、他の手法で上下限値を決定する場合、例えばヒストグラム全体に基づく度数の割合などで上下限値を算出する手法では、処理が煩雑となり、ロジック容量が増加してしまうため、撮像装置に組み込むには適さない。
具体的には、輝度分布の内、２つの連続するビンの度数のみを計数するのではなく、全体の分布を計数すると、ＣＰＵ内のレジスタやキャッシュメモリで保持しきれず、外部メモリへのアクセスが発生して、処理時間が増加する場合がある。

尚、特許文献１，２には、上下限値の探索において、濃淡ヒストグラムの形状に応じて、隣接する２つのビンの走査速度を調整することや、形状に応じて走査開始位置及び／又は閾値を調整することは記載されていない。

本発明は上記実情に鑑みて為されたもので、ロジック規模を増大させることなく、濃淡ヒストグラムの形状に応じて、迅速且つ精度良く上下限値を決定することができる撮像装置及び画像処理方法を提供することを目的とする。

上記従来例の問題点を解決するための本発明は、入力画像から濃淡ヒストグラムを抽出し、濃淡ヒストグラムにおける特定の輝度範囲についてコントラストを拡張するコントラスト補正部を備えた撮像装置であって、コントラスト補正部が、入力画像から抽出された１フレーム分の濃淡ヒストグラムについて、輝度に沿って隣接する２つの領域を走査して、２つの領域の内、一方の領域の輝度の度数が予め設定された閾値以上であり、他方の領域の輝度の度数が閾値未満であるという条件を満たすか否かを判定する判定処理を行い、当該条件を満たさない場合に、濃淡ヒストグラムの形状に基づいて、２つの領域の位置から、次の１フレーム分の濃淡ヒストグラムにおける輝度に沿って隣接する２つの領域の位置までの移動量を変更することにより当該２つの領域の走査速度を調整して、次の１フレーム分の濃淡ヒストグラムについて判定処理を行い、当該条件を満たす場合に、２つの領域の境界となる輝度の値を特定の輝度範囲の上限値又は下限値として決定する上下限値探索処理部を備えたことを特徴としている。

また、本発明は、入力画像から濃淡ヒストグラムを抽出し、濃淡ヒストグラムにおける特定の輝度範囲についてコントラストを拡張するコントラスト補正部を備えた撮像装置であって、コントラスト補正部が、濃淡ヒストグラムの形状を識別する形状識別器と、濃淡ヒストグラムにおいて、輝度に沿って隣接する２つの領域を走査して、２つの領域の度数と予め設定された閾値との比較に基づいて、特定の輝度範囲の上限値及び下限値を決定する上下限値探索処理を行う上下限値探索処理部とを備え、上下限値探索処理部が、形状識別器で識別された形状に応じて２つの領域の走査開始位置及び／又は前記閾値を調整し、調整された走査開始位置及び／又は閾値を用いて上下限値探索処理を行うことを特徴としている。

また、本発明は、上記撮像装置において、コントラスト補正部が、予め、濃淡ヒストグラムの典型的な形状の特徴量を学習して複数の形状パターンを記憶しておき、入力画像から抽出した濃淡ヒストグラムについて形状の特徴量を算出し、算出された特徴量と記憶された形状パターンの特徴量とを比較して形状を識別する形状識別器と、識別された形状に応じて、隣接する２つの領域の走査開始位置及び／又は閾値を調整する上下限値探索処理部とを備えたことを特徴としている。

また、本発明は、上記撮像装置において、上下限値探索処理部が、判定処理において条件を満たさない場合に、２つの領域の近傍の特定範囲について、隣接する度数間のベクトルを複数求め、複数のベクトルの平均ベクトルに基づいて濃淡ヒストグラムの傾きを判定し、当該傾きに応じて、２つの領域の位置から次の１フレーム分の濃淡ヒストグラムにおける輝度に沿って隣接する２つの領域の位置までの移動距離を変更して走査速度を調整することを特徴としている。

また、本発明は、入力画像から濃淡ヒストグラムを抽出し、濃淡ヒストグラムにおける特定の輝度範囲についてコントラストを拡張する画像処理方法であって、予め、濃淡ヒストグラムの典型的な形状の特徴量を学習して複数の形状パターンを記憶しておき、入力画像から抽出された１フレーム分の濃淡ヒストグラムについて形状の特徴量を算出し、算出された特徴量と記憶された形状パターンの特徴量とを比較して濃淡ヒストグラムの形状を識別し、濃淡ヒストグラムにおいて、輝度に沿って隣接する２つの領域を、識別された形状に応じて調整された開始位置から輝度に沿って走査して、２つの領域の内、一方の領域の輝度の度数が識別された形状に応じて調整された閾値以上であり、他方の領域の輝度が閾値未満であるという条件を満たすか否かを判定する判定処理を行い、当該条件を満たさない場合に、２つの領域の近傍の特定範囲について、隣接する度数間のベクトルを複数求め、複数のベクトルの平均ベクトルに基づいて濃淡ヒストグラムの傾きを判定し、傾きに応じて、２つの領域の位置から次の１フレーム分の濃淡ヒストグラムにおける輝度に沿って隣接する２つの領域の位置までの移動距離を変更して当該２つの領域の走査速度を調整して、次の１フレーム分の濃淡ヒストグラムについて判定処理を行い、条件を満たす場合に、２つの領域の境界となる輝度の値を特定の輝度範囲の上限値又は下限値として決定することを特徴としている。

本発明の撮像装置によれば、入力画像から濃淡ヒストグラムを抽出し、濃淡ヒストグラムにおける特定の輝度範囲についてコントラストを拡張するコントラスト補正部を備えた撮像装置であって、コントラスト補正部が、入力画像から抽出された１フレーム分の濃淡ヒストグラムについて、輝度に沿って隣接する２つの領域を走査して、２つの領域の内、一方の領域の輝度の度数が予め設定された閾値以上であり、他方の領域の輝度の度数が閾値未満であるという条件を満たすか否かを判定する判定処理を行い、当該条件を満たさない場合に、濃淡ヒストグラムの形状に基づいて、２つの領域の位置から、次の１フレーム分の濃淡ヒストグラムにおける輝度に沿って隣接する２つの領域の位置までの移動量を変更することにより当該２つの領域の走査速度を調整して、次の１フレーム分の濃淡ヒストグラムについて判定処理を行い、当該条件を満たす場合に、２つの領域の境界となる輝度の値を特定の輝度範囲の上限値又は下限値として決定する上下限値探索処理部を備えた撮像装置としているので、濃淡ヒストグラムの形状に応じて、ロジック容量を増大させずに、探索精度を損なうことなく迅速に上下限値を決定することができる効果がある。

また、本発明の撮像装置によれば、入力画像から濃淡ヒストグラムを抽出し、濃淡ヒストグラムにおける特定の輝度範囲についてコントラストを拡張するコントラスト補正部を備えた撮像装置であって、コントラスト補正部が、濃淡ヒストグラムの形状を識別する形状識別器と、濃淡ヒストグラムにおいて、輝度に沿って隣接する２つの領域を走査して、２つの領域の度数と予め設定された閾値との比較に基づいて、特定の輝度範囲の上限値及び下限値を決定する上下限値探索処理を行う上下限値探索処理部とを備え、上下限値探索処理部が、形状識別器で識別された形状に応じて２つの領域の走査開始位置及び／又は前記閾値を調整し、調整された走査開始位置及び／又は閾値を用いて上下限値探索処理を行う撮像装置としているので、簡易な処理で走査開始位置及び／又は閾値を調整でき、上下限値の探索処理を濃淡ヒストグラムの形状に応じて最適な値に調整して、ロジック容量を増大させずに、探索精度を損なうことなく迅速に上下限値を決定することができる効果がある。

また、本発明の撮像装置によれば、上下限値探索処理部が、判定処理において条件を満たさない場合に、２つの領域の近傍の特定範囲について、隣接する度数間のベクトルを複数求め、複数のベクトルの平均ベクトルに基づいて濃淡ヒストグラムの傾きを判定し、当該傾きに応じて、２つの領域の位置から次の１フレーム分の濃淡ヒストグラムにおける輝度に沿って隣接する２つの領域の位置までの移動距離を変更して走査速度を調整する上記撮像装置としているので、濃淡ヒストグラムの傾きが小さいときには移動距離を大きくし、傾きが大きいときには移動距離を小さくして、精度を保持しつつ探索処理の効率を向上させることができる効果がある。

また、本発明の画像処理方法によれば、入力画像から濃淡ヒストグラムを抽出し、濃淡ヒストグラムにおける特定の輝度範囲についてコントラストを拡張する画像処理方法であって、予め、濃淡ヒストグラムの典型的な形状の特徴量を学習して複数の形状パターンを記憶しておき、入力画像から抽出された１フレーム分の濃淡ヒストグラムについて形状の特徴量を算出し、算出された特徴量と記憶された形状パターンの特徴量とを比較して濃淡ヒストグラムの形状を識別し、濃淡ヒストグラムにおいて、輝度に沿って隣接する２つの領域を、識別された形状に応じて調整された開始位置から輝度に沿って走査して、２つの領域の内、一方の領域の輝度の度数が識別された形状に応じて調整された閾値以上であり、他方の領域の輝度が閾値未満であるという条件を満たすか否かを判定する判定処理を行い、当該条件を満たさない場合に、２つの領域の近傍の特定範囲について、隣接する度数間のベクトルを複数求め、複数のベクトルの平均ベクトルに基づいて濃淡ヒストグラムの傾きを判定し、傾きに応じて、２つの領域の位置から次の１フレーム分の濃淡ヒストグラムにおける輝度に沿って隣接する２つの領域の位置までの移動距離を変更して当該２つの領域の走査速度を調整して、次の１フレーム分の濃淡ヒストグラムについて判定処理を行い、条件を満たす場合に、２つの領域の境界となる輝度の値を特定の輝度範囲の上限値又は下限値として決定する画像処理方法としているので、濃淡ヒストグラムの形状に応じて、捜査開始位置、閾値、ビンの走査速度を調整で、形状に応じた最適な処理として、ロジック容量を増大させることなく、迅速且つ精度良く上下限値を決定することができる

本発明の実施の形態に係る撮像装置の概略構成を示すブロック図である。 コントラスト補正部14の構成を示すブロック図である。 コントラスト補正部14における処理の概要を示す説明図である。 ３種類のヒストグラム形状を示す説明図である。 特徴量の抽出を示す説明図である。 識別過程のマッチング処理の概略を示す説明図である。 本装置の上下限値探索処理における走査速度の選択の概要を示す説明図である。 ビンの走査速度算出の処理を示す説明図である。 従来の撮像装置におけるコントラスト調整を示す説明図である。 従来の撮像装置における濃淡ヒストグラム拡大処理の概要を示す説明図である。 従来の濃淡ヒストグラムの上下限値算出方法を示す説明図である。 ヒストグラムの形状による立ち上がりの違いを示す説明図である。

本発明の実施の形態について図面を参照しながら説明する。
［実施の形態の概要］
実施形態に係る撮像装置及び画像処理方法は、画像のコントラスト拡大の際に、上下限値探索処理部43が、濃淡ヒストグラムの輝度に沿って隣接する２つの領域を設定し、その領域の位置を走査しながらその領域の度数を閾値と比較して、一方の度数が閾値以上で他方の度数が閾値未満である場合に、両領域の境界となる輝度値を上限値又は下限値として決定する上下限値探索処理を行っている。上下限値の探索開始位置や度数の閾値は、処理対象の画像の濃淡ヒストグラムの形状に基づいて、適応的に設定される。濃淡ヒストグラムの形状は、予め定めた分類によって識別される。形状識別器42は、「一般型」「やり型」「平型」等の複数のパターンに識別するように、機械学習のアルゴリズムを用いて得られた登録パターンを記憶する。

更には、上下限値探索処理部43は、上下限値候補付近のヒストグラムの勾配を求め、その勾配に応じて、上下限値候補の位置と次のフレームにおける上下限値候補の位置との間の移動量を設定することにより、ビンの走査速度を調整する撮像装置及び画像処理方法としている。

［実施の形態の適用対象］
本発明の実施の形態に係る撮像装置及び画像処理方法は、監視システムにおいて用いられる監視カメラへ適用されることを想定している。監視カメラの映像は、通常、画角が固定されて撮影され、急激なパンやシーン変化がないものと仮定でき、画像の濃淡ヒストグラムも急激には変化しないものである。

［コントラスト拡張］
本発明の実施の形態に係る撮像装置（本装置）の構成を説明する前に、本装置で行われるコントラスト拡張の概略について説明する。
本装置のコントラスト拡張処理は、ライン補正・カラム補正、ピクセル補正、フレーム補正の４つの補正処理によって構成される。
ライン補正は１つあるいは複数の水平走査線単位、カラム補正はフレームを横方向に複数に分割した領域単位、ピクセル補正は画素単位、フレーム補正はフレーム一律の処理となっており、これらの処理がカスケードに接続されて実行される。

コントラスト拡張のほとんどは、カスケード処理前半のライン補正とカラム補正によって為され、ピクセル補正やフレーム補正は、補助的なものである。
本実施の形態では、ピクセル補正の前に行われる濃淡ヒストグラムを用いたライン・カラム補正を例として説明するが、同様の手法をピクセル補正やフレーム補正の他、任意の部分領域の補正に適用することも可能である。

［本装置の構成:図１］
図１は、本発明の実施の形態に係る撮像装置の概略構成を示すブロック図である。
図１に示すように、本装置は、イメージセンサ１１と、Ａ／Ｄ（Analog/Digital）変換器１２と、信号処理部１３と、コントラスト補正部14と、出力回路１５とを備えている。

イメージセンサ１１は、撮像レンズで撮影された画像を画像信号として出力する。
Ａ／Ｄ変換器１２は、画像信号についてアナログ信号をディジタル信号に変換する。
信号処理部１３は、ディジタル信号に変換された画像信号について、ノイズ除去、輝度（Ｙ）・色（Ｃ）信号生成、ガンマ処理、エッジエンハンサ処理等を行う。
出力回路１５は、テレビ等の出力装置に応じて、コントラスト補正部14で補正された画像信号をビデオ信号等の出力信号に変換して、画像を出力する。

コントラスト補正部14は、本装置の特徴部分であり、濃淡ヒストグラムの輝度値の上下限値を算出して、その範囲について画像の階調を広げるコントラスト拡張処理を行う。
コントラスト拡張処理は、図１０に示した方法と同様に行われるが、本装置のコントラスト補正部14では、濃淡ヒストグラムの上下限値を算出する処理をヒストグラムの形状に応じて最適化する点が特徴となっている。

上下限値を算出する処理の基本的な処理部分は、図１１に示した処理と同様であり、輝度に沿って隣接する２つのビンの度数を閾値と比較して一方が閾値以上、他方が閾値未満となった場合に、両ビンの境界となる輝度値を上限値又は下限値として決定する。

［コントラスト補正部14の構成:図２］
図２は、コントラスト補正部14の機能ブロック図である。
コントラスト補正部14は、ヒストグラム抽出器41と、形状識別器42と、上下限値探索処理部43と、コントラスト拡張処理部44とを備えている。
尚、コントラスト補正部14は、現実のハードウェアで実現される際は、制御部（CPU）、記憶部、インタフェース部等が備えられ、記憶部に記憶された画像処理ソフトウェアを制御部が実行することにより、本装置における処理が実現される。

コントラスト補正部14の各部について説明する。
ヒストグラム抽出器41は、信号処理部13から入力された画像信号について、ヒストグラム（濃淡ヒストグラム）を抽出する。本例では、ヒストグラムの生成は（更新）は、フレーム時間周期であるとして説明するが、それに限らず、複数フレームの時間をかけて、例えば当該複数フレームに亘って万遍なく選んだ所定数の画素から生成するようにしてもよい。

形状識別器42は、予め典型的なヒストグラム形状を学習して、それらを登録パターン（形状パターン）として記憶しておき、実際に入力された画像のヒストグラム形状がどの登録パターンに分類されるかを識別し、上下限値探索処理部43に識別された形状を設定する。
形状識別器42の具体的な処理については後述する。

上下限値探索処理部43は、形状識別器42から設定されたヒストグラム形状に応じて、輝度値の上下限値の探索開始位置や度数の閾値を選択し、当該探索開始位置及び度数の閾値に基づいて、濃淡ヒストグラムの輝度値の上下限値を探索する上下限値探索処理を行う。

ここで、本装置の特徴として、上下限値探索処理部43は、ビン近傍のヒストグラムの勾配を算出して、その勾配に基づいてビンの輝度軸上の移動距離（移動量）を予め記憶されている複数の移動距離の中から適切な移動距離を選択し、判定処理で上下限値が決定されなかった場合に、次のフレームでのビンを、当該移動距離だけ移動させて探索処理を行う。
つまり、本装置では、濃淡ヒストグラムの勾配に応じて、次のフレームでのビンの位置を現在の位置からどれだけ離れた位置にするかを調整し、実質的にビンを走査する移動速度（走査速度）を変えるようにしている。

コントラスト拡張処理部44は、上下限値探索処理部43から設定された上下限値に基づく輝度範囲について、従来と同様に上限値が最大輝度、下限値が最小輝度となるようコントラストを拡張する処理を行う。

［本装置における処理の概要:図３，図４］
図３は、コントラスト補正部14により実行される処理のフローを示す説明図であり、図４は、３種類のヒストグラム形状を示す説明図である。図３には、コントラスト補正の基本的な機能を果たす識別過程（ｂ）の他、予め行われるべき学習過程（ａ）も一緒に示してある。

図３（ａ）に示す学習過程は、本装置の運用に先立って事前に行う処理であり、コントラスト補正部14自体、若しくは外部のコンピュータの何れで行われてもよい。教師付き学習を利用する場合、ラベル付けされた（形状を示す情報が付された）多数の濃淡ヒストグラムを読み込み、ヒストグラム形状の特徴量を抽出して機械学習手法により学習し、ラベル毎の特徴的なヒストグラム形状を登録パターンとして記憶する。

図４に示すように、本装置では、「一般型」「やり型」「平型」の３種類の登録パターンを記憶する。登録パターンは、識別過程において入力画像の形状を識別する際に用いられる。

図３（ｂ）に示す識別過程は、本装置の運用開始後に為される処理であり、コントラスト補正部14は、実際に入力された画像の濃淡ヒストグラムから、学習過程と同じ手法で特徴量を抽出し、ヒストグラム形状が登録パターンのいずれに合致するかを判定して、それに応じて最適なパラメータ（探索開始位置、度数の閾値）を選択し、また、ヒストグラムの勾配を算出してそれに基づいてビンの移動速度を調整しながら上下限値探索処理を行う。

［具体的な処理］
次に、学習過程と識別過程の処理について具体的に説明する。
［学習過程:図３，図５］
まず、学習過程について図３，図５を用いて説明する。図５は、特徴量の抽出を示す説明図である。
図３に示すように、学習過程においては、ヒストグラム抽出器41若しくはその他のコンピュータは、画像データを入力し（302）、入力された画像データから、濃淡ヒストグラムを抽出し（303）、適宜表示部（図示省略）に出力する。

そして、オペレータが、目視により、表示されたヒストグラムの形状を、図４に示した「一般型」「やり型」「平型」の３つの代表的なパターンに分類してラベル付けを行う（304）。この分類は、単にヒストグラムの形状のみに基づいて行われてもよいし、各パターンに分類してコントラスト補正された画像を確認しながら行われてもよい。ラベル付けされたヒストグラムを教師データとする（305）。
教師データとしては、各パターンについて、例えば１０００フレーム、合計３０００フレーム程度のサンプルを用意する。

次に、ヒストグラム抽出器41等は、教師データから各パターンの特徴量の抽出を行う（306）。
図５に示すように、通常は、画像から抽出した輝度値をそのまま用いて、区間（ビン、階級）の数が多いヒストグラム501が作成される。例えば輝度値が８ビットで表される場合、階調数と等しい２５６のビンが生じる。これをそのまま特徴量とすることもできるが、特徴量の次元が多いと、学習機械はより多くの教師データを必要とし、或いは学習の収束が遅くなる。
本例では、輝度値除算器502が、ヒストグラム501の複数の区間を併合することで、１６のビンからなるヒストグラム503を生成し、各ビンの値を特徴量とする。これにより、１つのヒストグラムから１６の特徴量が抽出される。なお、濃淡ヒストグラム抽出303の時点で、削減されたビン数のヒストグラムを直接生成してもよい。

次に、図３に示すように、抽出された特徴量に基づいて機械学習手法による学習を行う（307）。学習は、形状識別器42が識別過程において用いるパラメータとして、３つの登録パターンを作成する。登録パターンは、形状識別器42の種類に依存する。
学習には、作成したラベルを用いる教師付き学習や教師なし学習等、識別器を学習させることができる任意の周知の手法が利用できる。
教師付き学習により特定物体を認識する最も単純な例では、「一般型」、「やり型」、「平型」の３種類のラベル毎に抽出したヒストグラムの特徴量の平均値を算出し、それらを登録パターンとして記憶する（308）。フィッシャー識別器を用いる例では、ある登録パターンに属するか否かの境界となる超平面のパラメータが、登録パターンとして記憶される。このほか、サポートベクターマシンや、深層畳み込みニューラルネット等による識別も利用でき、それに適した登録パターンが生成され、記録される。。

教師なしの学習手法では、ヒストグラムにラベルをつけずに学習することが可能である。
教師なしの学習手法には、k-meansやmean shiftのクラスタリングなどを用いることができる。このとき、学習するヒストグラムは３つのクラスに分類されることを想定し、クラスタ数は３とする。この場合も、各クラスターの代表位置（重心等）が登録パターンとして記憶される。

［識別過程:図３，図６］
次に、本装置のコントラスト補正部14における識別過程について図３、図６を用いて説明する。図６は、識別過程におけるマッチング処理の概念図である。
識別過程では、図３（ｂ）に示したようにコントラスト補正部14が、装置の運用開始後に入力された画像に対して、コントラスト拡張のための輝度値の上下限値を算出する。コントラスト補正部14では、学習過程と同様に、ヒストグラム抽出器41が入力画像の濃淡ヒストグラムを生成し（309）、形状識別器42が１６階級の特徴量を抽出し（図５参照）、当該画像の特徴量とする（310）。

そして、形状識別器42が、記憶されている３種類の登録パターンに基づいて、抽出された特徴量がどのパターンに属するかを識別（マッチング）する。を行う（312）。
図６を参照して、最も単純なマッチングが説明される。ここでは、登録パターンとして、特定物体認識手法等で学習した、当該パターンの代表値（特徴量の平均値等）が保持されていると仮定する。

形状識別器４２は、まず一つ目の登録パターンについて、入力画像から抽出したヒストグラムと１６階級の度数を比較する。
具体的には、形状識別器４２は、登録パターンと抽出したヒストグラムについてそれぞれの特徴量（度数）を比較して差分をとり、差分の絶対値を予め設定された第１の閾値と比較して、閾値以下ならポジティブ、閾値を越えるとネガティブとする。すなわち、１つのヒストグラムについてポジティブ又はネガティブの指標が合計１６個得られる。
図６に示すように、マッチングは３つの登録パターンすべてについて行われ、各パターンについてポジティブの個数を求める。

そして、形状識別器４２は、当該入力画像のヒストグラム形状について、「ポジティブの数が、予め設定された第２の閾値以上であり、最も多い」登録パターンを、当該入力画像の形状に近いパターンであると識別する。
尚、ポジティブの数が極端に少ない場合は、当該入力画像はいずれの登録パターンにも当てはまらないものとして、「その他」として識別する。

第１の閾値は、ポジティブの数が適度にばらつくように設定する。たとえば、「ヒストグラム抽出に用いた画素数／１６」の何パーセント、といったように設定する。

また、第２の閾値は、入力画像のヒストグラム（例えばV字型）がいずれの登録パターンにも識別されず、パターン識別に失敗した場合に、その結果を用いないようにするものであり、例えば、学習過程で用いたヒストグラム（教師データ）が正しい登録パターンに識別されたときのポジティブの数より若干小さめに設定する。

クラスタリングや、その他のより高度な手法で学習した場合は、入力した特徴量に対して特徴空間（特徴量を表すベクトル空間）上での距離を計算することができる。
そのため、形状識別器４２は、入力画像より抽出した特徴量が、学習した登録パターン（クラスタ）のどれに近いかを計測することでヒストグラムを識別する。
クラスタとの距離の算出は、ユークリッド距離、マハラノビス距離を用いることができる。閾値は、学習したクラスタの重心から最も離れた同クラスタのサンプルまでの距離とする。

このようにしてマッチングが行われ、入力された画像の濃淡ヒストグラムの形状に最も近似する登録パターンが識別される。そして、形状識別器４２は、識別された形状を上下限値探索処理部43に通知する。

上下限値探索処理部43は、通知された形状に基づいて、最適な度数の閾値と、最適な走査開始位置とを選択する（313）。
そして、上下限値探索処理部43は、度数の閾値及び走査開始位置に基づいて上下限値を算出する上下限値探索処理を行う（314）。

本実施例の特徴として、上下限値探索処理部43は、ヒストグラムの形状に応じた最適な走査速度を選択して、選択された走査速度でビンを移動させながら上下限値探索処理を行う。図３の処理314でループ状に示されている処理が、走査速度の算出処理である。
上下限値探索処理部43の動作については後述する。

上下限値が算出されると、上下限値探索処理部43は、算出された上下限値をコントラスト拡張処理部４５に設定する（315）。

［上下限値探索処理における走査開始位置の選択］
次に、コントラスト補正部14の上下限値探索処理部43におけるヒストグラム形状に応じた走査開始位置の選択について説明する。
上下限値探索処理部43では、形状識別器４２からヒストグラム形状が「やり型」であることが入力（通知）された場合に、上下限値探索処理における走査開始位置をデフォルトの位置（初期値はヒストグラムの端）から中央寄りにずらして設定する。

具体的には、上下限値探索処理部43は、ヒストグラムにおいてピークとなる階級と端までの距離をビン番号に基づいて算出する。
この距離が予め設定された開始位置判定の閾値を超える場合に、予め規定されているピーク寄りの所定の位置を走査開始位置として設定する。

これにより、例えば、やり型の形状で、度数のピークが極めて低輝度側に寄っている分布の場合、上限値探索において、高輝度側の端からビンの走査を開始するのではなく、よりピークに近い位置から走査を開始することができ、上下限値探索処理の収束時間を短縮することができるものである。

尚、ここでは、識別されたヒストグラム形状が一般型又は平型の場合には、上下限値探索処理部43は、デフォルト通りにヒストグラムの端から走査を開始するようにしているが、一般型、平型についても、それぞれの形状に応じて走査開始位置を変えるようにしてもよい。

［上下限値探索処理における閾値の選択］
次に、上下限値探索処理部43におけるヒストグラム形状に応じた度数の閾値の選択について説明する。
図１２に示したように、従来はヒストグラムの形状に関わらず、閾値は一定の値としていたが、本装置では、閾値の値を形状に応じて設定してもよい。
すなわち、上下限値探索処理部43は、予め、平型、一般型、やり型に対応する適切な閾値を記憶しておき、形状識別器４２において識別された入力画像の濃淡ヒストグラム形状が入力されると、それに応じて閾値を選択する。
一例として、形状別の閾値の値は、平型＜一般型＜やり型とする。

これにより、やり型の場合には、一般型よりも度数の高い輝度（ピークに近い位置）に上下限値が設定されることになり、上下限値がヒストグラムの山の麓から遠い位置に設定されてしまうのを防ぎ、上下限値算出の精度を向上させることができるものである。
また、元々広い輝度範囲に画素が満遍なく分布している平型の場合には、一般型と同じ閾値とした場合よりも、上下限値算出処理の収束までの時間が短くてすむ。

［ビンの走査速度選択の概要:図７］
次に、本装置の上下限値探索処理における走査速度の選択の概要について図７を用いて説明する。図７は、本装置の上下限値探索処理における走査速度の選択の概要を示す説明図である。
本装置の上下限値探索処理部43では、濃淡ヒストグラムの傾きに応じて、輝度に沿って隣接する２つのビンの走査速度を選択する。
例えば、図７（ａ）に示すように、上限値の探索において、高輝度側の端付近では、濃淡ヒストグラムの勾配が水平に近いので、ビンの移動量をデフォルト（規定値）より大きく、例えばデフォルトの３倍とする。これにより、ビンの移動速度は３倍になる。

ここで、ビンの移動量とは、現在のフレームで上下限値が決定されず次のフレームでも判定処理を行う場合に、現在のビンの輝度軸上の位置から次のフレームのビンの位置までの距離を示している。

このように勾配が小さい部分では、ビンを大きく移動させても上下限値の算出精度は低下せず、処理の効率を向上させることができるものである。
尚、ビンの移動量のデフォルトは、例えば、上限値候補を挟んで隣接するビンの幅と同等とする。

図７（ｂ）に示すように、少し低輝度側に移動したところでは、緩い勾配があるので、移動量をデフォルトの２倍とする。
また、図７（ｃ）に示すように、山の麓付近になると、勾配が急になるので、移動量をデフォルトの１倍とする。

このように、濃淡ヒストグラムの勾配に応じてビンの走査速度を変えることにより、探索精度を低下させることなく無駄な処理をなくし、上下限値の探索に要する時間を短縮することができるものである。

［走査速度の算出:図８］
次に上下限値探索処理の中で行われるビンの走査速度算出の処理について図８を用いて説明する。図８は、ビンの走査速度算出の処理を示す説明図である。
本装置の上下限値探索処理では、上下限値探索処理部43が、ヒストグラムの形状（勾配）に応じて走査速度を調整しながら、上下限値の算出を行う。
つまり、走査速度算出の処理（走査速度算出処理）は、上下限値探索処理の中で行われるものである。

上下限値探索処理では、図１１に示したように、上下限値候補を挟んで隣接する２つのビンの度数を、度数の閾値と比較して、一方が閾値以上且つ他方が閾値未満という条件を満たさなかった場合（上下限値が決定しなかった場合）に、次のフレームでビンを移動するが、その際の移動量を走査速度算出処理で決定するものである。

例えば、図８（ａ）に示すように、ヒストグラムのビンの番号（ヒストグラム番号）をＸ，度数（頻度）をＹとして、例えば、現在の上限値候補付近の特定の範囲をベクトル算出範囲として、隣り合うヒストグラム番号の度数に基づいてベクトルを算出する。ベクトル算出範囲は任意とする。
勾配算出処理では、１６階級の特徴量を表すヒストグラムではなく、ヒストグラム抽出器４１で抽出されたビン数の多い濃淡ヒストグラムを用いてベクトルを算出する。

図８（ｂ）では、ヒストグラム番号１５２，１５３，１５４，１５５の範囲について隣り合う度数のベクトルを算出しており、図８（ｃ）に示すように、ヒストグラム番号２５２，２５３，２５４，２５５の範囲についてベクトルを算出している。

そして、上下限値探索処理部43は、算出された３つのベクトルの平均ベクトルを算出し、この平均ベクトルに基づいて当該範囲のヒストグラムの勾配を「急」「普通」「平ら」の３段階に分類する。
上下限値探索処理部43には、勾配を分類するための閾値が予め記憶されている。

そして、勾配が「平ら」であると判断された場合には、次のフレームではビンの位置（つまり上限値候補の位置）をデフォルトの移動量の３倍移動して次の探索を行う。
また、「普通」のときはデフォルトの２倍、「急」のときは１倍とする。

図８の例では、高輝度側から上限値を探索する場合、図８（ｃ）の付近では、平均ベクトルから勾配が「平ら」であると判断されて、デフォルトの３倍の移動量でビンを移動するが、図８（ｂ）の付近になると、勾配が「急」であると判断されてデフォルトと同じ移動量とする。
下限値探索についても、同様に平均ベクトルから勾配を求め、それに応じてビンを移動しつつ下限値の探索処理を行う。
これにより、精度を劣化させることなく探索処理を早く収束させることができるものである。

また、「平ら」と分類されることが２フレーム続くときには、次のフレームではデフォルトの４倍移動させて探索処理を行う。
これにより、探索処理にかかる時間を一層短縮することができるものである。
尚、勾配に応じたビンの移動量をデフォルトの何倍にするか、また、スピードアップのための「平ら」の連続フレーム数は、任意に設定可能である。

尚、本実施の形態では、濃淡ヒストグラムの形状識別を行って、度数の閾値や探索処理の走査開始位置を適切に設定した上で、更にビン数の多い濃淡ヒストグラムの勾配算出に基づく走査速度の設定を行うことで、形状に応じて探索精度を損なうことなく処理時間の短縮を図り、上下限値探索処理を最適化することができるものであるが、閾値、走査開始位置、走査速度のいずれか又は一部の組み合わせを行うようにしても、従来と比べると処理時間を短縮することができるものである。

つまり、濃淡ヒストグラム全体についての形状識別を行わずに、特定範囲の勾配算出による走査速度の設定のみを行うようにしても、上下限値探索処理において、探索精度を損なうことなく処理時間を短縮することができるものである。

あるいは、識別過程で識別される全体の形状識別に基づいて、「やり型」であれば、捜査開始直後の所定数のフレームはデフォルトの３倍の移動量、次の特定数フレームはデフォルトの２倍、その後は１倍、というように予め設定しておくことも可能である。
このようにすれば、ベクトル算出を行う場合に比べて処理を大幅に簡略化することができるものである。

［実施の形態の効果］
本発明の実施の形態に係る撮像装置及び画像処理方法によれば、形状識別器４２が、入力された画像の濃淡ヒストグラムを抽出し、上下限値探索処理部43が、濃淡ヒストグラムの輝度に沿って隣接する２つの領域を走査しながら、当該領域の度数を閾値と比較して、一方の度数が閾値以上で他方の度数が閾値未満である場合に、両領域の境界となる輝度値を上限値又は下限値として決定する上下限値探索処理を行うものであり、上下限値算出処理において上下限値が決定しなかった場合に、現在の上下限値候補付近の隣接するビンの度数からヒストグラムの勾配を求め、当該勾配が緩やかであれば、次のフレームにおける上下限値候補の移動量を規定値の３倍とし、当該勾配が普通であれば移動量を２倍とし、急であれば移動量を規定値とするようにしているので、探索にあまり影響のない山の麓から離れたところでは走査速度を大きくして処理のスピードを上げると共に、山の麓付近では走査速度を小さくして精度良く上下限値を求めることができ、上下限値の探索精度を保持しつつ、濃淡ヒストグラムの形状に応じて探索に要する時間を短縮することができる効果がある。

また、本装置及び本方法によれば、学習過程において、形状識別器４２が、多数の濃淡ヒストグラムを教師データとして形状の特徴量を抽出して機械的手法により学習し、「一般型」「やり型」「平型」の登録パターンを記憶しておき、識別過程において、入力画像の濃淡ヒストグラムから抽出した特徴量と、登録パターンの特徴量を比較して、形状がいずれの登録パターンに最も近いか識別し、識別されたパターンに応じて探索処理における走査開始位置と度数の閾値を設定するようにしているので、入力画像の濃淡ヒストグラムの形状に応じて、最適な走査開始位置及び／又は度数の閾値を設定でき、探索精度を向上させ、処理時間を短縮することができる効果がある。

本発明は、濃淡ヒストグラムの形状に応じて、迅速且つ精度良く上下限値を決定することができる撮像装置及び画像処理方法に適している。

１１...イメージセンサ、 １２...Ａ／Ｄ変換器、 １３...信号処理部、 １４...コントラスト補正部、 １５...出力回路、 ４１...ヒストグラム抽出器、 ４２...形状識別器、 ４３...上下限値探索処理部、 ４４...コントラスト拡張処理部、 ５０２...輝度値除算器

Claims (5)

1. 入力画像から濃淡ヒストグラムを抽出し、前記濃淡ヒストグラムにおける特定の輝度範囲についてコントラストを拡張するコントラスト補正部を備えた撮像装置であって、
   前記コントラスト補正部が、
   前記入力画像から抽出された１フレーム分の濃淡ヒストグラムについて、輝度に沿って隣接する２つの領域を走査して、前記２つの領域の内、一方の領域の輝度の度数が予め設定された閾値以上であり、他方の領域の輝度の度数が前記閾値未満であるという条件を満たすか否かを判定する判定処理を行い、
   前記条件を満たさない場合に、前記濃淡ヒストグラムの形状に基づいて、前記２つの領域の位置から、次の１フレーム分の濃淡ヒストグラムにおける輝度に沿って隣接する２つの領域の位置までの移動量を変更することにより当該２つの領域の走査速度を調整して、前記次の１フレーム分の濃淡ヒストグラムについて前記判定処理を行い、
   前記条件を満たす場合に、前記２つの領域の境界となる輝度の値を前記特定の輝度範囲の上限値又は下限値として決定する上下限値探索処理部を備えたことを特徴とする撮像装置。
2. 入力画像から濃淡ヒストグラムを抽出し、前記濃淡ヒストグラムにおける特定の輝度範囲についてコントラストを拡張するコントラスト補正部を備えた撮像装置であって、
   前記コントラスト補正部が、
   前記濃淡ヒストグラムの形状を識別する形状識別器と、
   前記濃淡ヒストグラムにおいて、輝度に沿って隣接する２つの領域を走査して、前記２つの領域の度数と予め設定された閾値との比較に基づいて、前記特定の輝度範囲の上限値及び下限値を決定する上下限値探索処理を行う上下限値探索処理部とを備え、
   前記上下限値探索処理部が、前記形状識別器で識別された形状に応じて前記２つの領域の走査開始位置及び／又は前記閾値を調整し、
   前記調整された走査開始位置及び／又は前記閾値を用いて前記上下限値探索処理を行うことを特徴とする撮像装置。
3. コントラスト補正部が、予め、濃淡ヒストグラムの典型的な形状の特徴量を学習して複数の形状パターンを記憶しておき、入力画像から抽出した濃淡ヒストグラムについて形状の特徴量を算出し、前記算出された特徴量と前記記憶された形状パターンの特徴量とを比較して形状を識別する形状識別器と、
   前記識別された形状に応じて、隣接する２つの領域の走査開始位置及び／又は閾値を調整する上下限値探索処理部とを備えたことを特徴とする請求項１又は２記載の撮像装置。
4. 上下限値探索処理部が、判定処理において条件を満たさない場合に、２つの領域の近傍の特定範囲について、隣接する度数間のベクトルを複数求め、前記複数のベクトルの平均ベクトルに基づいて濃淡ヒストグラムの傾きを判定し、前記傾きに応じて、前記２つの領域の位置から次の１フレーム分の濃淡ヒストグラムにおける輝度に沿って隣接する２つの領域の位置までの移動距離を変更して走査速度を調整することを特徴とする請求項３に記載の撮像装置。
5. 入力画像から濃淡ヒストグラムを抽出し、前記濃淡ヒストグラムにおける特定の輝度範囲についてコントラストを拡張する画像処理方法であって、
   予め、濃淡ヒストグラムの典型的な形状の特徴量を学習して複数の形状パターンを記憶しておき、入力画像から抽出された１フレーム分の濃淡ヒストグラムについて形状の特徴量を算出し、前記算出された特徴量と前記記憶された形状パターンの特徴量とを比較して前記濃淡ヒストグラムの形状を識別し、
   前記濃淡ヒストグラムにおいて、輝度に沿って隣接する２つの領域を、前記識別された形状に応じて調整された開始位置から輝度に沿って走査して、前記２つの領域の内、一方の領域の輝度の度数が前記識別された形状に応じて調整された閾値以上であり、他方の領域の輝度が前記閾値未満であるという条件を満たすか否かを判定する判定処理を行い、
   前記条件を満たさない場合に、前記２つの領域の近傍の特定範囲について、隣接する度数間のベクトルを複数求め、前記複数のベクトルの平均ベクトルに基づいて前記濃淡ヒストグラムの傾きを判定し、前記傾きに応じて、前記２つの領域の位置から次の１フレーム分の濃淡ヒストグラムにおける輝度に沿って隣接する２つの領域の位置までの移動距離を変更して当該２つの領域の走査速度を調整して、前記次の１フレーム分の濃淡ヒストグラムについて前記判定処理を行い、
   前記条件を満たす場合に、前記２つの領域の境界となる輝度の値を前記特定の輝度範囲の上限値又は下限値として決定することを特徴とする画像処理方法。

Images