JP4869323B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、特にカメラにより撮影された画像からエッジを抽出し、当該エッジに基づいて対象物体を抽出する画像処理技術に関する。

従来、例えば監視カメラにより撮影された画像（映像）から、人や車両などの対象物体を抽出する画像処理技術は、監視システムなどに適用する重要な要素技術である。画像処理技術は、画像中からエッジと呼ばれる輝度の変化を特徴として抽出（検出）し、当該エッジに基づいて画像に含まれる対象物体の輪郭や表面の陰影境界を抽出する技術であり、各種の方式や方法が提案されている（例えば、特許文献１、２、３を参照）。

これらの先行技術では、画像において輝度の変化が大きい画素、即ちエッジを抽出するエッジ抽出手法としては、最も代表的なSobelオペレータやPrewittオペレータなどが用いられている。これらの手法は、画像中の注目画素とその周囲画素における各輝度の大小を比較し、閾値よりも大きく変化している画素をエッジとして抽出する原理に基づいている。
特許第３４１１９７１号公報 特開２００７−２４１３７２号 特許第２８６２１９９号公報

先行技術でのエッジ抽出手法は、輝度変化が明瞭で明るく、かつ高コントラストの画像（映像）からのエッジ抽出に適している。しかしながら、道路や建物内などに設置したカメラにより撮影された画像を分析すると、周囲環境の照度不足や、カメラや映像伝送路の特性などの複数の要因により、低照度で低コントラストの画像が多く含まれることが確認されている。特に、照度不足の画像ではノイズが増大するため、エッジ抽出の精度が低下し、最悪の場合にはエッジ抽出が困難になる。また、無理に抽出しようとして閾値を緩くする設定を行なうと、偽のエッジを抽出しやすいという問題が発生する。

従って、実際の環境下で、カメラにより撮影された画像（映像）から対象物体を検出するための画像処理において、従来のエッジ抽出手法では、画像から対象物体を検出する精度が低下する問題が含まれている。

そこで、本発明の目的は、画像の明るさやコントラストに依存せずに、画像中のエッジを高精度に抽出し、対象物体を確実に検出できる画像処理装置を提供することにある。

本発明の観点は、エッジを輝度階調数が異なる輝度の種類の数で定義し、光の拡がり方を表している画像中の輝度分布を解析し、この輝度分布に基づいてエッジを抽出する輝度場解析手法を採用した画像処理装置である。

本発明の観点に従った画像処理装置は、カメラで撮影された１画面の画像を入力する入力手段と、前記入力手段により入力された画像中の輝度分布を解析し、輝度階調数が異なる輝度の種類の数で定義されたエッジ画像を、前記輝度分布に基づいて抽出する輝度場解析手段と、前記輝度場解析手段により抽出されたエッジ画像から構成される輝度場画像を作成する輝度場画像作成手段と、前記輝度場画像作成手段により作成された輝度場画像に基づいて、前記１画面の画像中から対象物体を抽出する物体抽出手段とを備えた構成である。

本発明によれば、画像の明るさやコントラストに依存せずに、画像中のエッジを高精度に抽出し、１画面の画像から対象物体を確実に検出できる。

以下図面を参照して、本発明の実施形態を説明する。

（システムの構成）
図１は、本実施形態に関する画像処理装置の要部を示すブロック図である。

本実施形態は、例えば道路に設置された監視カメラ１５を使用する監視システムに適用する画像処理装置１０である。画像処理装置１０は、画像入力部１１と、バッファメモリ１２と、画像処理部１３と、記憶部１４とを有する。

画像入力部１１は、監視カメラ１５により撮影された映像（以下、画像と表記する）を入力し、各種の前処理を実行してバッファメモリ１２に格納する。画像処理部１３は、本実施形態の主要部であり、マイクロプロセッサ（ＣＰＵ）及び画像処理用ソフトウェアから構成される。画像処理部１３は、後述する画像処理を実行し、処理結果を記憶部１４に格納し、かつ表示装置１６に出力する。記憶部１４は、画像処理部１３からの処理結果を保存すると共に、画像処理部１３の画像処理に必要な情報を保存している。表示装置１６は、画像処理部１３からの処理結果と共に、監視カメラ１５により撮影された画像を表示する表示画面を有する監視用モニタである。

（画像処理の動作）
以下、図２から図２３を参照して、本実施形態の画像処理装置１０の動作を説明する。

図２は、本実施形態の画像処理装置１０により、入力画像から物体を検出するまでの一連の基本的処理を説明するためのフローチャートである。

画像入力部１１は、カメラ１５により撮影された画像を入力し、バッファメモリ１２に格納する。画像処理部１３は、バッファメモリ１２から入力画像を取り込み、画像の輝度を判定する画質判定処理を実行する（ステップＳ１，Ｓ２）。次に、画像処理部１３は、画像の領域分割処理を実行する（ステップＳ３）。

領域分割は、後述するように、１画面の画像からエッジを抽出する処理時に実行される処理である。画像には、相対的に明るい領域と暗い領域が含まれるなど、輝度特性が異なる領域が混在している。それらの領域に対して同一のエッジ抽出処理を適用すると、性能が低下することから、本実施形態は、１画面の画像を輝度特性に応じて複数の領域に分割し、各領域毎にエッジを抽出する。画像を領域に分割する基準の一例として、輝度に基づく明るい領域と暗い領域とがある。但し、この領域分割処理は、精度を向上させるためなど、必要に応じて選択できる処理であり、必須の処理ではない。

さらに、画像処理部１３は、後述する輝度場解析画像処理（輝度場解析処理と略す場合がある）を実行する（ステップＳ４）。輝度場解析処理は、本実施形態によるエッジ処理であり、画像を輝度特性に基づいて分割した複数の領域毎に、各々の輝度分布特性に基づいてエッジを抽出する。画像処理部１３は、分割した領域毎に輝度場画像と呼ぶエッジ画像を作成する（ステップＳ５）。

画像処理部１３は、後述するように、輝度場画像として非エッジ画素、弱エッジ画素、及び強エッジ画素の３種類のエッジ画像を作成する。画像処理部１３は、それらを合成して最終的に１画面の画像に対応するエッジ画像（合成輝度場画像）を生成する（ステップＳ７）。画像処理部１３は、抽出したエッジ（合成輝度場画像）から、物体の輪郭や物体表面の凹凸により起因する輝度変化境界を抽出して、物体の形状を推定する物体抽出処理を実行する（ステップＳ８）。画像処理部１３は、抽出したエッジ情報を物体特有の特徴として、１画面の画像から物体と背景を分離し、対象物体を抽出する（ステップＳ９）。

（エッジ抽出処理）
次に、主として図３のフローチャートを参照して、本実施形態のエッジ抽出処理、即ち輝度場解析処理を説明する。

本実施形態のエッジ抽出手法の基本的概念は、以下の通りである。

即ち、本実施形態のエッジ抽出手法は、可視光カメラ１５の周囲の環境における光の拡がりを輝度分布として認識できる点に注目した手法である。可視カメラ１５は、光源から発せられた可視光（以下、光と呼ぶ）が周囲に拡がる様子を画像として捉えている。画像における輝度は、光の明るさに対応する。これから、画像中の輝度分布は、光の拡がり方として認識できる。通常では、画像を構成する画素の輝度は、光源からの光の拡がり方に関する拘束条件に基づいて決定される。

当該拘束条件とは、光の物理的な性質を意味する。即ち、光は、光源に近い程明るく、遠くなる程暗い。光は遮るものがなければ、明るさが滑らかに変化しながら遠方に拡がる。また、物体が存在すると、光は遮られる、あるいは回り込みを起こす。物体の表面で光の反射が起こる。

このような光の物理的な性質に基づいて、本実施形態の画像処理部１３は、画像中の輝度分布を解析する。具体的には、画像中で輝度の高い領域を山、輝度の低い領域を谷に見立て、輝度の変化に関する等高線解析を行なう。この等高線解析により、輝度が滑らかに変化している画素と、そうでない画素とに分類する。輝度が滑らかに変化している画素について、更に輝度の変化の仕方を複数のカテゴリに分類する。このような処理結果に基づいて、画像処理部１３は、画像中の物体の輪郭を抽出する。

本実施形態の画像処理部１３は、バッファメモリ１２から入力画像を取り込むと、前述の画質判定処理及び領域分割処理と共に、ノイズ除去処理を実行する（ステップＳ１１，Ｓ１２）。カメラ１５から入力される画像（映像）は、ノイズにより劣化されていることが多い。画像処理部１３は、入力画像からノイズを除去して、輝度の変化を高精度に検出する。画像処理部１３は、入力画像に対して図４に示す平滑化オペレータ（マスク表現）を適用し、ノイズを除去した平滑化画像を算出する（ステップＳ１３）。

ここで、図５は、平滑化オペレータを使用するノイズ除去処理を説明するための概念図である。図６（Ａ）は入力画像の一例を示す図であり、例えばトンネル内を走行するトラックを撮影した低照度での画像である。また、図６（Ｂ）は、図６（Ａ）に示す入力画像から算出した平滑化画像の一例を示す図であり、ぼけている表示状態を示している。

画像処理部１３は、下記式（１）に示す演算式（１）で平滑化画像を算出する。

Ｉ_smooth(i,j)＝(I(i-1,j-1)+I(i,j-1)+I(i+1,j-1)+I(i,j-1)+I(i,j)+I(i+1,j)+
I(i-1,j+1)+I(i,j+1)+I(i+1,j+1))/9…（１）
ここで、(i,j)は、入力画像中の画素を示すインデックス（iは0〜319、jは0〜239、解像度はQVGA）を示す。I(i,j)は入力画像を示す。Ｉ_smooth(i,j)は平滑化後の入力画像を示す。

なお、画像処理部１３は、入力画像の画質により、他のノイズ除去処理を適用してもよいし、あるいはノイズ除去処理そのものを実行しない構成でもよい。

本実施形態の輝度場解析処理は、画像の輝度を山の高さに見立てて標高分布を解析する処理である。画像処理部１３は、山谷の輝度分布を解析する前処理として、入力画像からノイズを除去した平滑化画像または入力画像を多値化し、多値画像を生成する（ステップＳ１５）。

多値化とは、入力画像又は平滑化画像の輝度の階調数を、現状よりも小さい数に圧縮することである。画像を多値化することで、輝度のバラツキの影響を抑制し、画像全体に対して輝度が変化する傾向を捉えることができる。以下に、入力画像または平滑化画像の多値化処理について説明する。

画像処理部１３は、例えば輝度が２５６階調の入力画像（または平滑化画像）から、階調数をＮに圧縮した多値画像を作成する。この前処理として、画像処理部１３は、図７（Ｂ）に示すように、輝度の２５６階調数をＮ階調に圧縮するときの輝度階調幅Ｐを初期設定する（ステップＳ１４）。図７（Ａ）は、圧縮する前の２５６階調の輝度を示す。この設定した輝度階調幅Ｐにより、２５６階調の輝度を複数のグループに分割する。図７（Ｂ）に示すように、各グループの値を輝度レンジ番号（０，１，…Ｎ−２，Ｎ−１）と呼ぶ。ここで、原画像の輝度は０とは限らない。

画像処理部１３は、画像を構成する各画素の値を、グループ番号である輝度レンジ番号で指定されるＮ階調の多値画像を生成する（ステップＳ１５）。即ち、図８（Ａ）に示す２５６階調の入力画像または平滑化画像から、図８（Ｂ）に示すＮ階調に圧縮した多値画像を生成する。なお、図８（Ｂ）は、多値画像の輝度分布を見易くする為、輝度レンジ番号に対応する色（例えば青系８０、黄色系８１、緑色系８２、ピンク系８３など）毎に割当てた表示である。なお、図８（Ａ）において、領域８００は照明が照らされている領域を示す。この領域８００は、図８（Ｂ）に示すピンク系８３の領域の周辺領域に対応する。以下、後述する図において、領域８００は照明が照らされている領域を示すものとする。

ここで、階調数Ｎは、画像のコントラストに応じてダイナミックに変更する。高コントラスト画像の場合、画素間の輝度差が大きいことから、圧縮後の画像の階調数Ｎを小さく設定し、画像中の大きな輝度の変化を捉えることを可能とする。一方、低コントラスト画像の場合、画素間の輝差が小さいことから、圧縮後の画像の階調数Ｎを大きくして、輝度の小さな変化を捉えることを可能とする。

次に、画像処理部１３は、生成した多値画像から、入力画像における輝度の変化の仕方、即ち輝度分布情報を抽出するための輝度分布の解析処理を実行する（ステップＳ１６）。

この解析処理では、図９に示すように、多値画像を構成する各画素を中心としたＭ画素×Ｍ画素の小ブロック９０を想定する。Ｍの値は画質に応じて設定されて、通常では３に設定される。画像処理部１３は、輝度分布探索オペレータを使用して、想定した小ブロックに含まれる輝度レンジ番号の種類をカウントする。画像処理部１３は、カウントした輝度レンジ番号の種類を小ブロックの中心画素（注目画素）の値とする輝度場画像を作成する。

具体的には、図１０に示すように、例えば小ブロックには輝度レンジ番号１９、２０の２種類が含まれるので、画像処理部１３は、中心画素である注目画素の値を２とする。ここで、図１１に示すように、輝度場画像の各画素の値（１、２、３）、即ち輝度レンジ番号の種類により、画素を３つのカテゴリである強エッジ画素、弱エッジ画素、非エッジ画素の３カテゴリに分類する。

図１２（Ａ）に示すように、強エッジ画素は、小ブロックに含まれる輝度レンジ番号の種類（１９，２０，２１）が３以上の画素を意味する。強エッジ画素は、明るさが大きく変化し、物体の稜線部分に光があたり、乱反射して明るさがばらついており、周囲の画素よりも明るく見える画素である。

弱エッジ画素は、図１２（Ｂ）に示すように、小ブロックに含まれる輝度レンジ番号の種類（１９，２０）が２の画素を意味する。弱エッジ画素は、注目画素と周囲の画素の輝度差が小さく、小ブロック内で階調差が１しか存在しない。本カテゴリに属する画素は、物体の輪郭に属する画素と、背景領域で明るさが変化する境界部に属する画素の２種類に分類できる。この弱エッジ画素は、従来のエッジ抽出技術では検出が困難である。さらに、非エッジ画素は、図１２（Ｃ）に示すように、小ブロックに含まれる輝度レンジ番号の種類（１９）が１の画素を意味する。非エッジ画素は、注目画素と周囲の画素の輝度の変化が生じておらず、有用な情報が含まれない画素である。

従って、画像処理部１３は、図１０に示すように、輝度レンジ番号１９、２０の２種類が含まれる値２の注目画素を弱エッジ画素に分類する。画像処理部１３は、１画面の多値画像全体に対して、輝度分布情報の抽出処理を実行する（図９を参照）。ここで、輝度階調の種類（輝度レンジ番号）が多い場合には、中心画素の近傍で輝度がばらついていることを意味する。一方、輝度階調の種類が少ない場合には、中心画素の近傍で輝度の変化は小さいことを意味する。

次に、画像処理部１３は、輝度分布の解析結果、即ち輝度分布情報に基づいて、輝度場画像からエッジ画像を抽出する処理を実行する（ステップＳ１７）。ここで、輝度場画像とは、図１３（Ｂ）に示すように、１画面の多値化画像を強エッジ画素（黄緑色系）１３１、弱エッジ画素（赤色系）１３２、非エッジ画素（青色系）１３３の輝度分布カテゴリに分類した画像である。また、図１４（Ｂ）に示すように、１画面の多値化画像を強エッジ画素（黄緑色系）１３１、弱エッジ画素（赤色系）１３２、非エッジ画素（青色系）１３３の輝度分布カテゴリに分類した画像である。なお、図１３（Ａ）及び図１４（Ａ）はいずれも対応する入力画像を示す。図１３（Ｂ）に示すように、画像処理部１３は、物体の輪郭に属する強エッジ画素（黄緑色系）１３１を抽出する。また、図１４（Ｂ）に示すように、画像処理部１３は、物体の輪郭に属する弱エッジ画素（赤色系）１３２を抽出する。ここで、図１４（Ｂ）に示すような物体の輪郭は、図１４（Ａ）に示すような低照度画像における物体の輪郭及び明るい画像における影領域に存在するものであり、強エッジ画素ではなく弱エッジ画素（赤色系）１３２として抽出される。

画像処理部１３は、輝度場画像からエッジ画像を抽出したときに、当該エッジ画像の抽出の妥当性を判定する（ステップＳ１８）。即ち、入力画像は、周囲の明るさに応じて画像の性質が常に変化する。ある輝度階調幅Ｐで作成した多値画像が不適切であると、輝度場解析画像全体に強エッジ画素が出現する状態となる。また反対に、画像中に強エッジ画素や弱エッジ画素が存在せず、物体の輪郭情報を抽出できない状態となる。即ち、画像の応じて適切な輝度階調幅Ｐを選択して、輝度場画像を作成する必要がある。

具体的には、画像処理部１３は、輝度場画像が適切であるか判定するため、画像全体に占める強エッジ画素の含有量を元にした良否判定基準を設けて、当該基準の範囲外の場合には輝度階調幅Ｐを調整（初期値から変更）する処理を実行する（ステップＳ１９のＮＯ，Ｓ２１）。以下、強エッジ含有量に基づく輝度階調幅の調整方法について、図１５を参照して説明する。

画像処理部１３は、下記の演算式（２）により、強エッジ画素の含有率Ｒを算出する。

Ｒ＝Ｓ／Ｎ…（２）
ここで、Ｓは画像全体の総画素数（画像の幅×高さ）を意味し、Ｎは強エッジ画素の総数を意味する。

輪郭を抽出したい物体の画面全体に占める割合が小さいと仮定すると、適切な輝度階調幅が設定できれば、画面全体に強エッジ画素が出現するケースは少ない。そこで、強エッジ画素が画像内に適切な割合で含まれる条件下で、最適な輝度階調幅Ｐを決定する。画像処理部１３は、下記の条件に基づいて輝度場画像の良否を判定する。

ここで、強エッジ画素の含有率の下限値Ｒllとし、強エッジ画素の含有率の上限値をＲulとする。「Ｒll＜ＲまたはＲll＝Ｒ」及び「Ｒul＞ＲまたはＲul＝Ｒ」の条件を満足する場合には、画像処理部１３は輝度場画像は良好であると判定する（ステップＳ１９のＹＥＳ）。一方、当該条件を満たさない場合には、画像処理部１３は輝度場画像は不良であると判定する（ステップＳ１９のＮＯ）。

画像処理部１３は、判定結果に基づいて輝度場画像は不良である場合には、図１５に示すように、強エッジ画素の含有率に基づいて輝度階調幅Ｐの値を調整する（ステップＳ２１）。具体的には、図１５に示すように、初期設定値Ｐが小さい場合には、強エッジ画素の含有率が多すぎるため、輝度階調幅Ｐを大きく調整する。一方、初期設定値Ｐが大きい場合には、強エッジ画素の含有率が少ないため、輝度階調幅Ｐを小さく調整する。

また、画像処理部１３は、画像全体に占める弱エッジ画素の含有量に基づいて、輝度階調幅Ｐを調整する。画像の明るさやコントラストは様々であり、物体の輪郭が常に強エッジの性質を持つとは限らず、弱エッジである場合が多い。特に照度不足画像やピントがあっていない画像に前述の特性が多く表れる。そこで、画質の特性に基づいて分割した各領域において、画像処理部１３は、弱エッジ画素が適切に抽出されるように輝度階調幅Ｐを設定し、最適な輝度場画像を生成する。

具体的には、図１６（Ａ）に示すような低照度画像における物体の輪郭は、図１６（Ｂ）に示すような弱エッジ画素（赤色系）１３２として抽出されることが多い。また、低照度画像の背景領域に属する多くの画素も、弱エッジ画素として抽出される。画像処理部１３は、ブロック内に含まれる２つの輝度レンジ番号（１９，２０）のペアにして弱エッジ画素を管理する。注目画素は、輝度レンジ番号が１９から２０に変化する境界部のエッジ画素として定義される。

画像処理部１３は、２つの輝度レンジ番号の組が違うと、異なるカテゴリに分類する（図１７を参照）。図１８（Ｃ）は、弱エッジ画素（赤色系）１３２を複数のカテゴリに分類した画像を示すもので、カテゴリ毎に色を割り当てると、物体の輪郭が浮き上がって見える様子を示す。なお、図１８（Ａ）は入力画像の一例である。図１８（Ｂ）は、当該入力画像から作成した輝度場画像の一例であり、強エッジ画素（黄緑色系）１３１、弱エッジ画素（赤色系）１３２、非エッジ画素（青色系）１３３を含む画像である。

要するに、弱エッジ画素を構成する２種類の輝度階調をペアとして輝度の変化の仕方に基づいて弱エッジ画素を複数のカテゴリに分類することで、図１８（Ａ）に示すような低照度画像の物体の輪郭を安定に抽出することが可能となる。即ち、図１９（Ａ）に示すような低照度画像における物体の輪郭は、図１９（Ｂ），（Ｃ）に示すように、強エッジ画素（黄緑色系）１３１及び弱エッジ画素（赤色系）１３２から構成される。物体の輪郭において、光が当たっている部分は強エッジ画素（黄緑色系）１３１として抽出され、光が当たらない部分は弱エッジ画素（赤色系）１３２として抽出される。画像処理部１３は、これらのエッジ画素を合成した輝度場画像を生成する（ステップＳ２０）。

以上のように本実施形態の画像処理技術であれば、低照度で低コントラストの画像（映像）から物体を抽出することができる。また、本実施形態の画像処理技術は、昼間の屋外を含む明るく、高コントラストの画像からも物体を抽出することができる。具体的には、図２３（Ａ）に示すように、通常では、カメラ１５により撮影された画像（入力画像）には、暗い領域２００と明るい領域２１０とが混在している場合が多い。本実施形態の画像処理技術は、図２３（Ｂ）に示すように、輝度特性に基づいて画像を領域分割し、分割画像毎にエッジ画像を抽出する処理を実行する。従って、本実施形態の画像処理技術は、画像の明るさ（輝度）やコントラストに依存せずに、物体表面の輝度分布に基づいた特徴を示すエッジを安定して抽出することができる。

なお、本実施形態の画像処理技術は、抽出する対象物として、図１９（Ａ）に示すような車両に限らず、図２０（Ａ）に示すような人物にも有効である。画像処理技術では、人間は曲面形状をした複数のパーツから構成されており、輝度の高低が発生するため特徴を抽出し易い。図２０（Ｂ）は、人物画像から輝度分布を抽出して作成した輝度場画像の一例を示す図である。

さらに、本実施形態の画像処理技術は、画像内の輝度の高低変化を検出できるため、物体の形状に応じて物体表面に発生するエッジ分布の変化を検出できる。具体的には、例えば図２１（Ａ）に示すような箱の入力画像において、上面又は側面などの平面では、図２１（Ｂ）に示すように、光源から近い方から遠い方に向けて放射状にエッジが出現することが検出される。また、図２２（Ａ）に示すような円筒の場合には、図２２（Ｂ）に示すように、円筒表面には楕円形のエッジが出現することが検出される。従って、本実施形態の画像処理技術を適用して、画像のエッジ分布をパターン処理することで、当該エッジ分布から物体の形状を推定することが可能となる。

以上要するに本実施形態の画像処理装置１０の特徴は、カメラ１５により撮影された入力画像の輝度を多値化した後、注目画素の周囲に含まれる多値化後の輝度の種類に基づいて、注目画素を複数種類のエッジ画素に分類する構成を含む。このような構成により、画像内のコントラスト及び照度の高低の影響を受けずに、対象物体の特徴であるエッジを安定して抽出できる。換言すれば、エッジ抽出の際に閾値処理が必要ないため、エッジ抽出処理時の煩わしい閾値調整作業を不要にできる。また、画像の状態に応じてダイナミックに対応したエッジ抽出処理を実現できる。このため、入力画像から物体の輪郭や表面の凹凸に起因する陰影境界を検出して、入力画像から人物や車両などの対象物体の抽出を高精度に行なうことができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の実施形態に関する画像処理装置の要部を示すブロック図。 本実施形態に関する画像処理装置１０の動作を説明するためのフローチャート。 本実施形態に関する画像処理装置１０のエッジ抽出処理を説明するためのフローチャート。 本実施形態に関する平滑化オペレータを説明するための図。 本実施形態に関する平滑化オペレータを使用するノイズ除去処理を説明するための概念図。 本実施形態に関する入力画像及び平滑化画像の一例を説明するための図。 本実施形態に関する多値化処理における輝度の階調圧縮を説明するための図。 本実施形態に関する多値画像の一例を説明するための図。 本実施形態に関する輝度分布の解析処理を説明するための図。 本実施形態に関する輝度分布の解析処理を説明するための図。 本実施形態に関する階調画像の画素カテゴリを説明するための図。 本実施形態に関する階調画像の画素カテゴリを説明するための図。 本実施形態に関する強エッジ画素の抽出処理を説明するための図。 本実施形態に関する弱エッジ画素の抽出処理を説明するための図。 本実施形態に関する輝度階調幅の調整方法を説明するための図。 本実施形態に関する弱エッジ画素の抽出処理を説明するための図。 本実施形態に関する弱エッジ画素のカテゴリ分類を説明するための図。 本実施形態に関する弱エッジ画素をカテゴリ分類した画像の一例を説明するための図。 本実施形態に関する物体抽出処理を説明するための図。 本実施形態に関する人物抽出処理を説明するための図。 本実施形態に関する物体の形状推定処理を説明するための図。 本実施形態に関する物体の形状推定処理を説明するための図。 本実施形態に関する効果を説明するための図。

符号の説明

１０…画像処理装置、１１…画像入力部、１２…バッファメモリ、
１３…画像処理部、１４…記憶部、１５…監視カメラ、１６…表示装置。

Claims (12)

1. カメラで撮影された１画面の画像を入力する入力手段と、
   前記入力手段により入力された画像中の輝度分布を解析し、輝度階調数が異なる輝度の種類の数で定義されたエッジ画像を、前記輝度分布に基づいて抽出する輝度場解析手段と、
   前記輝度場解析手段により抽出されたエッジ画像から構成される輝度場画像を作成する輝度場画像作成手段と、
   前記輝度場画像作成手段により作成された輝度場画像に基づいて、前記１画面の画像中から対象物体を抽出する物体抽出手段と
   を具備したことを特徴とする画像処理装置。
2. カメラで撮影された１画面の画像を入力する入力手段と、
   前記入力手段により入力された画像を、輝度特性に応じた領域に分割する領域分割手段と、
   前記領域分割手段により分割された各領域の画像中の輝度分布を解析し、輝度階調数が異なる輝度の種類の数で定義されたエッジ画像を、前記輝度分布に基づいて領域毎に抽出する輝度場解析手段と、
   前記輝度場解析手段により抽出されたエッジ画像から構成される輝度場画像を作成する輝度場画像作成手段と、
   前記輝度場画像作成手段により作成された輝度場画像に基づいて、前記１画面の画像中から対象物体を抽出する物体抽出手段と
   を具備したことを特徴とする画像処理装置。
3. 前記領域分割手段は、
   前記入力手段により入力された画像に含まれる輝度に基づく明るい領域と暗い領域とを識別し、当該識別結果を基準として画像の領域分割を行なうように構成されていることを特徴とする請求項２に記載の画像処理装置。
4. 前記輝度場解析手段は、
   前記１画面分の画像を構成する各画素を中心としたマトリックス構成のブロックを想定し、当該各ブロックに含まれる前記輝度階調数が異なる輝度の種類の数に基づいてエッジ画像を抽出することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
5. 前記輝度場解析手段は、
   前記エッジ画像として、当該各ブロックに含まれる前記輝度階調数が異なる輝度の種類の数に基づいて強エッジ画素、弱エッジ画素、非エッジ画素を抽出することを特徴とする請求項４に記載の画像処理装置。
6. 前記輝度場解析手段は、
   前記入力手段により入力された画像または当該画像からノイズを除去した平滑化画像の輝度階調を圧縮した輝度階調の前記多値画像を作成し、当該輝度階調を複数のグループに分割したときの各グループの値を輝度レンジ番号として定義する手段を含むことを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
7. 前記輝度場解析手段は、
   前記１画面分の多値画像を構成する各画素を中心としたマトリックス構成のブロックを想定し、当該各ブロックに含まれる前記輝度レンジ番号の種類数に基づいてエッジ画像を抽出することを特徴とする請求項６に記載の画像処理装置。
8. 前記輝度場解析手段は、
   前記エッジ画像として、当該各ブロックに含まれる前記輝度レンジ番号の種類数に基づいて強エッジ画素、弱エッジ画素、非エッジ画素を抽出することを特徴とする請求項７に記載の画像処理装置。
9. 前記輝度場画像作成手段は、
   前記輝度場解析手段により抽出された前記強エッジ画素、弱エッジ画素、及び非エッジ画素を合成して１画面の画像に対応する輝度場画像を生成する手段を含むことを特徴とする請求項５または請求項８のいずれか１項に記載の画像処理装置。
10. 前記物体抽出手段は、
    前記輝度場画像作成手段により生成された前記輝度場画像から、前記対象物体の輪郭や物体表面の凹凸により起因する輝度変化境界を抽出する手段を含むことを特徴とする請求項１乃至請求項９のいずれか１項に記載の画像処理装置。
11. 前記輝度場画像作成手段により作成された輝度場画像が適切であるか否かを、画像全体に占める前記強エッジ画素の含有量に基づいて判定する手段と、
    前記判定結果が不良の場合に、前記強エッジ画素の含有量に基づいて前記多値画像の輝度階調の輝度レンジ番号を定義するための輝度諧調幅を調整する手段と
    を有することを特徴とする請求項５または請求項８のいずれか１項に記載の画像処理装置。
12. カメラで撮影された１画面の入力画像から対象物体を抽出するための画像処理を行なう画像処理装置に適用する画像処理方法であって、
    前記入力画像の画像中の輝度分布を解析し、輝度階調数が異なる輝度の種類の数で定義されたエッジ画像を、前記輝度分布に基づいて抽出する処理と、
    前記抽出されたエッジ画像から構成される輝度場画像を作成する処理と、
    前記作成された輝度場画像に基づいて前記１画面の画像中から対象物体を抽出する処理と
    を有することを特徴とする画像処理方法。

Images