JP3867890B2

JP3867890B2 - 画像処理方法および装置

Info

Publication number: JP3867890B2
Application number: JP2001218089A
Authority: JP
Inventors: 完治横川; 隆小野山
Original assignee: Hitachi Software Engineering Co Ltd
Current assignee: Hitachi Software Engineering Co Ltd
Priority date: 2001-07-18
Filing date: 2001-07-18
Publication date: 2007-01-17
Anticipated expiration: 2021-07-18
Also published as: JP2003030649A

Description

【０００１】
【発明の属する技術分野】
本発明は、対象物を含む撮影画像から対象物を検出する画像処理方法および装置に係り、特に航空写真や衛星写真などのリモートセンシング画像から例えば道路上の車両数を自動的に観測するのに好適な画像処理方法および装置に関するものである。
【０００２】
【従来の技術】
従来において、道路上の車両数を計測する交通量観測システムとして、道路に沿ってテレビカメラ、ループ式検知器、超音波式検知器、光学式検知器などのセンサを設置し、道路上を走行する車両を検出し、そのセンサ出力信号を観測センタに伝送し、そこで人手または自動的に車両数を計測するものが知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の交通量観測システムにあっては、次のような問題がある。
（１）道路沿いに設置するテレビカメラなどのセンサの数には限界があるため、広範囲にわたる道路における交通量を計測することができず、広範囲にわたる交通量を適切に制御することができない。
（２）計測精度を上げようとすると、センサ、通信設備の数が増大した大規模システムとなり、その構築・維持に膨大なコストがかかる。
（３）収集する情報が大量であるため、リアルタイム性に劣る。
【０００４】
本発明の目的は、道路上の車両などの対象物を安価なコストでリアルタイムで検出することができる画像処理方法および装置を提供することにある。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、本発明の画像処理方法は、記憶手段に格納された対象物を含む撮影画像から対象物を検出する画像処理方法であって、前記記憶手段に格納された対象物を含む撮影画像を読出し、モルフォロジーのずらし重ね処理によって撮影画像の濃淡を強調するステップと、特定の対象物が存在するエリアを“１”、それ以外のエリアを“０”とする２値画像と前記濃淡を強調した撮影画像とを突き合わせることにより、前記濃淡を強調した撮影画像から特定の対象物が存在するエリアを切り出すステップと、切り出したエリアに対して対象物像の濃度値と背景の濃度値の間の中間値を閾値に選択した閾値処理により、切り出したエリアの撮影画像から対象物像を“１”とし、背景を“０”とする２値画像を生成するステップとを備えることを特徴とする。
また、切り出したエリアの対象物について対象物の数を計数する処理を行うステップをさらに備えることを特徴とする。
また、前記撮影画像は、背景画像中での対象物の面積が微細な衛星撮影画像または空撮画像であることを特徴とする。
【０００６】
本発明に係る画像処理装置は、記憶手段に格納された対象物を含む撮影画像から対象物を検出する画像処理装置であって、前記記憶手段に格納された対象物を含む撮影画像を読出し、モルフォロジーのずらし重ね処理によって撮影画像の濃淡を強調する手段と、特定の対象物が存在するエリアを“１”、それ以外のエリアを“０”とする２値画像と前記濃淡を強調した撮影画像とを突き合わせることにより、前記濃淡を強調した撮影画像から特定の対象物が存在するエリアを切り出す手段と、切り出したエリアに対して対象物像の濃度値と背景の濃度値の間の中間値を閾値に選択した閾値処理により、切り出したエリアの撮影画像から対象物像を“１”とし、背景を“０”とする２値画像を生成する手段と
を備えることを特徴とする。
また、切り出したエリアの対象物について対象物の数を計数する手段をさらに備えることを特徴とする。
また、前記撮影画像は、背景画像中での対象物の面積が微細な衛星撮影画像または空撮画像であることを特徴とする。
【０００７】
【発明の実施の形態】
図１は本発明の画像処理方法を適用した交通量観測装置の実施形態を示すハードウェアのブロック図である。
この実施形態の交通量観測装置は、キーボード１０１、処理装置１０２、記憶装置１０６、ディスプレイ１０９から構成されている。キーボード１０１はコマンド名やそのパラメータの入力を行うものであり、処理装置１０２は交通量観測装置の各種入力コマンドに対する処理を行うものである。より詳細には、モルフォロジーのずらし重ね処理によりリモートセンシング画像中の自動車像の濃淡を強調する対象像の強調処理１０３と、リモートセンシング画像と地図情報を結合して背景エリアである道路エリアを切り出す背景エリアの切り出し処理１０４と道路エリア上の自動車の台数をカウントする対象物のカウント処理１０５を備えている。
記憶装置１０６には、処理装置１０２への入力となるリモートセンシング画像１０７と地図情報１０８のデータを蓄えている。ディスプレイ１０９はキーボード１０１が入力した文字列や処理装置１０２がコマンドの処理した結果などの表示を行う。
【０００８】
本実施形態の装置は、航空写真や衛星写真などのリモートセンシング画像の利用して、道路上の自動車のカウントを自動化することである。リモートセンシング画像を利用する理由は、第１に、１組のリモートセンシング画像の視野は数十km四方の大きさを持つので、広範囲の対象を同時に観測することが可能である。第２に、リモートセンシング画像を用いる交通量観測装置は、主に画像データ受信施設とコンピュータで構成され、従来のセンサを用いるシステムに比較してはるかに小規模のもので済む。第３に、リモートセンシング画像の容量はせいぜい数十メガバイトであり、現在のコンピュータで高速に処理できる。
【０００９】
本実施形態のリモートセンシング画像を用いた交通量観測装置における処理は、次の３つのステップから構成されている。
（１）モルフォロジーのずらし重ね処理による自動車像の濃淡の強調
（２）リモートセンシング画像と地図情報との結合による道路エリアの切り出し
（３）道路エリア上の自動車のカウント
ここで、リモートセンシング画像の解像度は最も高精度のもので数１０ｃｍのオーダであり、一方、自動車は通常数メートルの大きさである。したがって、多くの場合、リモートセンシング画像の解像度は自動車を認識するのに臨界的な解像度である。
【００１０】
そこで、本実施形態では、リモートセンシング画像から微細な自動車像を抽出し易いように、前もって自動車像の濃淡を強調する画像処理を行う。
濃淡画像を強調する前処理としてコントラストの強調と鮮鋭化が知られている。コントラストの強調は、まず、濃度ヒストグラムを生成し、その情報に基づいて濃度の線形変換や濃度ヒストグラムを平坦化する濃度変換を行う。また、濃淡画像の鮮鋭化は濃淡画像の高い空間周波数成分を高域強調フィルタによって強調する。これらの濃淡画像強調法は共通して強調する対象が十分な大きさを持つという条件を前提としている。
しかし、リモートセンシング画像の自動車像は数画素程度の微細な大きさのことがあり、この前提条件を満たさない。したがって、リモートセンシング画像の自動車像を対象とした場合、これらの手法は効果的ではない。
【００１１】
本発明では、自動車像の強調にモルフォロジー（mathematical morphology）の基本演算の１つである「ずらし重ね」（dilation）を用いる。この濃淡画像強調法には対象の大きさに対する前述のような前提条件がないという利点がある。
モルフォロジーは与えられた２値画像または濃淡画像からの特徴抽出を目的とし、集合論的操作からなる対象画像の変形手法の一貫した理論体系である。モルフォロジーの一般的な知見は次の文献１，２で得られる。
文献１：「間瀬茂、上田修功：モルフォロジーと画像解析(I), 信学誌Vol.74, No.2, pp.166-174(1991)」
文献２：「上田修功、間瀬茂：モルフォロジーと画像解析(II・完), 信学誌Vol.74, No.3, pp.271-279(1991)」
【００１２】
濃淡画像に関するモルフォロジーのずらし重ねは次のように定義される。
濃淡画像f : F → E と濃淡画像k : K → E とする。ここで、FとKは２次元空間の集合であり、Eは濃度を意味するユークリッド空間を示す。
濃淡画像fと濃淡画像kのずらし重ねf ○ kはf(x −z)とk(z)の和の集合の最大値である。より正確に数式で表すと、
(f ○ k)(x) ＝ max[f(x − z) + k(z)|z ∈ K, (x − z) ∈ F]
である。zは最大値演算子に対する変数である。
明らかに、ずらし重ねはコンボリューションと同じ計算量を必要としている。ただし、コンボリューションは積についての総和の計算をするのに対して、ずらし重ねは和についての最大値の計算をする。
【００１３】
通常、濃淡画像kの定義域Kを小さい集合に設定し、濃淡画像kを固定しているものと見なすことが多い。この時、濃淡画像fからずらし重ねf ○ k への写像は濃淡画像kをパラメータとした濃淡画像fのフィルタと考えられる。
濃淡画像kは構成要素（structuring element）と呼ばれ、この濃淡画像kを変えることにより様々な種類の変換を得ることができる。
【００１４】
特に、定義域Kが原点を中心とし、半径rの円板であり、その上で構成要素kが一定の値０を取る場合を考える。この場合、
(f ○ k)(x) ＝max[f(x − z)|z ∈ K, (x − z) ∈ F]
となり、ずらし重ね(f ○ k)(x)は点xを中心とし、半径rの円板の領域についての濃淡画像fの最大値を値とする。もし、濃淡画像fが図２に示すようなある点pで鋭いピークを持つならば、ずらし重ね(f ○ k)(x)は、点xと点pとの間の距離がrより短かい時、このピークの値を取る。言い換えると、ずらし重ね(f ○ k)(x)は、図２に太実線で示すように点pを中心とし、半径rの円板上で大きな値を取る。したがって、このフィルタは小さな明るい領域を半径rの円板の明るい領域に拡大する変換である。より一般的に、ずらし重ねは任意の形状の明るい領域の入力に対して、その明るい領域を距離rだけ膨張させてできる明るい領域を出力する変換であることになる。
さらに、構成要素kの値が非負値（０以上の値）である場合のずらし重ねも明らかに同様の性質を持つことが分かる。
【００１５】
ずらし重ねは道路上の自動車像の強調に適用できる。リモートセンシング画像の多くの場合、背景である道路の明るさに対して、道路上の自動車像の明るさは比較的明るい。その上、自動車像は直接処理するには困難なほど微細な粒状の形状を持つ。すなわち、自動車像はリモートセンシング画像の中の鋭いピークであると考えられる。したがって、前に述べた構成要素を使ったずらし重ねを作用させれば、自動車像は強調され、自動車像の抽出など後続の画像処理に向いた適度の大きさを持った形状になる。
【００１６】
本実施形態は、このようなモルフォロジーの基本演算の１つである「ずらし重ね処理」を活用し、背景に対して微細な画像を強調（濃淡の鮮鋭化と形状の膨張）を活用し、道路上の自動車の数をカウントするものである。
【００１７】
図３は対象物の強調処理１０３における自動車像の強調の詳細、すなわち、モルフォロジーのずらし重ねg(x1, x2) = (f ○ k)(x1, x2)を計算するアルゴリズムを示したフローチャートである。
このフローチャートで扱う入力濃淡画像f(x1, x2)の定義域は0 ≦ x1 < Max1, 0 ≦ x2 < Max2である。また、構成要素k(x1, x2)の定義域は原点を中心とした半径rの円板であり、その値は0とする。アルゴリズムはステップ３０１からステップ３０３のx1に関するループとステップ３０４からステップ３０６のx2に関するループを含む。これらのループはずらし重ねg(x1, x2)の定義域である長方形を走査する。
【００１８】
ステップ３０７でg(x1, x2)の初期値を“0”に設定する。ステップ３０８からステップ３１０のz1に関するループとステップ３１１からステップ３１３のz2に関するループがある。これらのループは構成要素kの定義域である円板を囲む、一辺の長さが2rである正方形を走査する。z1とz2は最大値演算子に対する変数を表すものである。
次にステップ３１４で点(z1, z2)が構成要素kの定義域である円板の内部にあるか判定する。円板の内部にある場合は、ステップ３１５でg(x1, x2)がf(x1−z1, x2 − z2)より小さいか判定する。小さい場合は、ステップ３１６でg(x1, x2)の値をf(x1 − z1, x2 − z2)に置き換える。
ステップ３１４あるいはステップ３１５で判定が否であるならば、なにもせずにループに戻る。結局、z1のループとz2のループを回ることにより、g(x1, x2)はf(x1 − z1, x2 − z2)の最大値となる。
【００１９】
図１の地図情報１０８は道路エリアでの値を“１”、それ以外での値を“０”とした２値画像である。図１の背景エリアの切り出し処理１０４における道路エリアの切り出しでは、リモートセンシング画像とこの２値画像（地図情報１０８）を突合せ、２値画像の値が“１”である位置の濃度値をその位置のリモートセンシング画像の濃度値とし、２値画像の値が“０”である位置の濃度値を“０”とする濃淡画像を生成する。これにより、道路エリアのみが“０”以外となった濃淡画像が得られる。
【００２０】
図１の対象物のカウント処理１０５における道路エリア上の自動車のカウントはしきい値処理とラベル付けに分けられる。
しきい値処理は、濃淡画像の各点の濃度値を、適当な基準値に対する大小関係に基づいて“０”と“１”に分けることによって濃淡画像を２値画像に変える処理である。一般的に、自動車像は道路に比べて明るいので、自動車像の濃度値と道路の濃度値の間の適当な中間値をしきい値に選択したしきい値処理により、道路エリアを切り出した濃淡画像から自動車像を“１”とし、道路を“０”とする２値画像を生成することができる。
なお、しきい値の決定法には、p-タイル法、モード法、判別分析法、濃度値特性法などが知られている。その詳細は下記の文献３に記載されている。
文献３：「鳥脇純一郎：画像理解のためのディジタル画像処理[I]、昭晃堂(平成１年)」
２値画像のラベル画像とは、２値画像の連結成分に対応する画素で、連結成分のラベルを表す正整数を値とし、連結成分以外の画素では“０”を値とする画像である。
【００２１】
図４(ａ)は、４つの連結成分４０１〜４０４を持つ２値画像の例である。
図４(ｂ)はその２値画像のラベル画像である。このラベル画像中では４つの連結成分４０１〜４０４が“１”から“４”の整数で番号付けされている。なお、画素同士が上下または左右に隣り合っている場合を２つの画素は互いに４隣接するという。同じ値を持つ２個の画素aとbに対して、これらと同じ値を持つ画素の系列が存在して、この系列の中ですべての隣あう画素の組が４隣接するとき、画素aとbは連結しているという。各連結成分は、画素間の連結という同値関係で定まる画素の同値類である。ラベル付けは２値画像からラベル画像を求める処理である。これには、例えば、すべての値が“１”である画素に初期ラベルを与えた後、それに隣接した値“１”の画素へ順に伝播させる並列型アルゴリズムがある。ラベル付けのアルゴリズムの詳細については次の文献４に記載されている。
文献４：「鳥脇純一郎：画像理解のためのディジタル画像処理[II]、昭晃堂(平成３年)」
前述の２値画像で各自動車像は１つの連結成分であるので、ラベル付けのアルゴリズムによって自動車の台数をカウントすることができる。
【００２２】
次に、図３で示した処理に基づいてリモートセンシング画像中から道路上の自動車像を抽出した例を説明する。
図５(a)は入力のリモートセンシング画像１０７の例を示す図である。リモートセンシング画像１０７の大きさは約３００×３００画素であり、その濃度値は“０”から“２５５”の範囲の値をとる。図５に例示するリモートセンシング画像１０７にはほぼ中央部の上下方向の道路と左右方向の道路があり、右下部で交差している。これらの道路上および道路に沿った駐車場に多数の自動車がある。自動車はリモートセンシング画像１０７中で約１画素の大きさであり、これは認識できる限界の大きさである。ここで明らかに自動車像の強調の前処理が必要である。
【００２３】
図５(b)は図５(a)のリモートセンシング画像に対し、ずらし重ね処理を適用した結果、生成された濃淡画像である。主に人工物から成る明るい領域が膨張していることが認められる。特に道路上や駐車場にある大多数の自動車が強調されている。このため、自動車像の抽出が可能となる。
【００２４】
図６(ａ)は図５(ｂ)の濃淡画像から中央上部の上下方向の注目領域５０１の道路エリアを切り出して生成された濃淡画像を示す模式図である。濃度が暗い道路エリアの濃度値は例えば約１６０以下、自動車像の領域の濃度値は例えば約２００以上であり、それぞれの領域は視覚的に区別可能になっている。
【００２５】
図６（ｂ）は図６(ａ)の道路エリアの濃淡画像にしきい値処理をほどこして生成された白黒の２値画像である。しきい値処理の結果、背景や対象が明確になり、道路エリア上の自動車像が鮮明化される。
図６(ｂ)の２値画像に対してラベル付け処理によって図６（ｃ）に示すようなラベル画像を生成する。そして、このラベル画像において、連結成分をカウント処理１０５でカウントすることにより、道路上の自動車の台数を容易に検出することができる。
【００２６】
このように本実施形態では、リモートセンシング画像を利用することにより、広範囲にわたる道路上の対象物を容易に、しかもセンサなどの膨大な地上設備を配置することなく、リアルタイムで検出することができる。
なお、上記実施形態においては、道路上の自動車の数を検出する場合を例に挙げて説明したが、リモートセンシング画像または空撮画像によって、海上に浮かぶ船舶や構造物など、背景画像に対して微細な形状に写る対象物を検出する場合の全てに適用することができる。
【００２７】
【発明の効果】
以上の説明から明らかなように、本発明によれば、道路上の車両などの対象物を安価なコストでリアルタイムで検出することができる。
【図面の簡単な説明】
【図１】本発明の画像処理方法を適用した交通量観測装置の実施の形態を示すハードウェアのブロック図である。
【図２】モルフォロジーのずらし重ね処理を説明する説明図である。
【図３】ずらし重ね処理のアルゴリズムを示すフローチャートである。
【図４】２値画像とそのラベル画像の例を示す説明図である。
【図５】リモートセンシング画像の処理例を示す説明図である。
【図６】対象物を強調してからカウントするまでの過程の画像を示す説明図である。
【符号の説明】
１０１…キーボード、１０２…処理装置、１０３…対象物の強調処理、１０４…背景エリアの切り出し処理、１０５…対象物のカウント処理、１０６…記憶装置、１０７…リモートセンシング画像、１０８…地図情報。

Claims

記憶手段に格納された対象物を含む撮影画像から対象物を検出する画像処理方法であって、
前記記憶手段に格納された対象物を含む撮影画像を読出し、モルフォロジーのずらし重ね処理によって撮影画像の濃淡を強調するステップと、
特定の対象物が存在するエリアを“１”、それ以外のエリアを“０”とする２値画像と前記濃淡を強調した撮影画像とを突き合わせることにより、前記濃淡を強調した撮影画像から特定の対象物が存在するエリアを切り出すステップと、
切り出したエリアに対して対象物像の濃度値と背景の濃度値の間の中間値を閾値に選択した閾値処理により、切り出したエリアの撮影画像から対象物像を“１”とし、背景を“０”とする２値画像を生成するステップと
を備えることを特徴とする画像処理方法。
切り出したエリアの対象物について対象物の数を計数する処理を行うステップをさらに備えることを特徴とする請求項１に記載の画像処理方法。
前記撮影画像は、背景画像中での対象物の面積が微細な衛星撮影画像または空撮画像であることを特徴とする請求項１または２に記載の画像処理方法。
記憶手段に格納された対象物を含む撮影画像から対象物を検出する画像処理装置であって、
前記記憶手段に格納された対象物を含む撮影画像を読出し、モルフォロジーのずらし重ね処理によって撮影画像の濃淡を強調する手段と、
特定の対象物が存在するエリアを“１”、それ以外のエリアを“０”とする２値画像と前記濃淡を強調した撮影画像とを突き合わせることにより、前記濃淡を強調した撮影画像から特定の対象物が存在するエリアを切り出す手段と、
切り出したエリアに対して対象物像の濃度値と背景の濃度値の間の中間値を閾値に選択した閾値処理により、切り出したエリアの撮影画像から対象物像を“１”とし、背景を“０”とする２値画像を生成する手段と
を備えることを特徴とする画像処理装置。
切り出したエリアの対象物について対象物の数を計数する手段をさらに備えることを特徴とする請求項４に記載の画像処理装置。
前記撮影画像は、背景画像中での対象物の面積が微細な衛星撮影画像または空撮画像であることを特徴とする請求項４または５に記載の画像処理装置。