JP7089355B2 - 画像処理装置、画像処理装置の制御方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理装置の制御方法及びプログラムに関する。

従来から、駐車場の混雑度や空車状況を知る目的で、駐車場の個々の駐車領域に車両（例えば、自動車）が駐車されているか否かを検出するニーズが存在する。個々の駐車領域における車両の有無を検出する方法として、赤外センサなどの車両検出用装置を設置して物体を検出する方法がある。しかし、一般的にこれらの車両検出用装置は検出範囲が限定的であり、大規模な駐車場においては車両検出用装置の設置数が膨大になってしまうおそれがある。一方、個々の駐車領域における車両の有無を検出する他の方法として、駐車領域をカメラで撮影し、撮影画像に画像処理を施して車両が駐車されているか検出する方法がある。この方法においては、複数の駐車領域を撮影することで、一台のカメラによる画像で複数台分の駐車領域における車両の有無を検出できるという利点がある。

ここで、特許文献１は画像処理を利用した車両の検出方法を開示する。図９は、当該検出方法を説明するための図である。図９（Ａ）において画像９００は４台の車両が駐車された駐車枠９０１を撮影した画像を示している。画像処理で車両を検出する場合、処理対象の領域を設定する。駐車枠９０１の場合、対象領域９０２、９０３のようにそれぞれの駐車枠を対象領域として設定し、設定した処理対象領域に対して画像処理を行い車両の有無を検出する。

特開平５-３２４９５４号公報

従来の車両検出方法により図９に示すような隣接する対象領域９０２、９０３について車両の有無を判定する場合、以下のように誤判定を生ずる場合がある。

まず、図９（Ｂ）のように対象領域９０３に車両が停まっていなければ対象領域９０３は「空車」と判定される。また、図９（Ｃ）のように対象領域９０３に車両９０４が停車している場合、対象領域９０３は「停車中」と判定される。その一方、対象領域９０２に関して、対象領域９０３が空車であれば対象領域９０２も「空車」と正しく判定されるが、対象領域９０３が停車中と判定される場合、対象領域９０３に停車している車両９０４が対象領域９０２上に重なって撮影される。このような場合、重なった部分がノイズとなり、対象領域９０２の駐車状況を正しく判定できず、誤って「停車中」と判定される場合がある。

このように、従来の車両検出方法では、隣接する駐車領域における車両の有無の影響で誤判定が生ずるおそれがある。そこで本発明は、隣接する駐車領域の駐車状況に影響を受けずに駐車状況の判定を行うことを可能とするための技術を提供する。

上述の課題を解決する本発明は、画像処理装置であって、
複数の自動車を駐車可能な複数の駐車領域を有する駐車場を撮影した画像を取得する取得手段と、
前記画像において、他の駐車領域よりも奥側に位置する処理対象の駐車領域の区画において手前側の２つの頂点にそれぞれ垂線を設定し、当該駐車領域のうち当該各垂線に挟まれる駐車領域を判定対象領域として決定する決定手段と、
前記画像から、前記判定対象領域において自動車を検出し、前記検出の結果に基づいて当該駐車領域における自動車の有無を判定する判定手段と、
を備えることを特徴とする。

本発明によれば、隣接する駐車領域の駐車状況に影響を受けずに駐車状況の判定を行うことが可能となる。

発明の実施形態に対応する駐車状況判定システムの構成の一例、及び、ネットワークカメラ１０１の配置例を示す図。 判定方法の一例を説明するための図。 判定対象領域の決定方法の一例を説明するための図。 判定対象領域の設定方法の一例を示すフローチャート。 判定対象領域を示す情報の一例を説明するための図。 判定対象領域を用いた判定処理の一例を説明するための図。 判定対象領域の決定方法の一例を説明するための図。 判定対象領域の設定方法の一例を示すフローチャート。 従来方法の説明図。 図１０（Ａ）は駐車領域の正面にネットワークカメラを配置していることを示す模式図、図１０（Ｂ）は撮影画像の一例を示す図。 図１１（Ａ）は、５つの隣接する駐車領域を示す模式図、図１１（Ｂ）は判定対象領域の決定方法の一例を説明するための図。 図１２（Ａ）は隣接する５つの駐車領域の各々に自動車が停車している状態を示す模式図、図１２（Ｂ）は、右から２番目の駐車領域にだけ自動車が停車していない状態を示し、図１２（Ｃ）はそれぞれの駐車領域に対する判定対象領域を示す模式図。 発明の実施形態に対応する駐車状況判定システムを構成する装置のハードウェア構成の一例を示す図。

以下、発明の実施形態を、添付の図面に基づいて詳細に説明する。

［実施形態１］
図１（Ａ）は、発明の第１の実施形態に係る駐車状況判定システムの構成の一例を示す図である。図１（Ａ）に示す駐車状況判定システム１００は、例えば、撮像装置であるネットワークカメラ１０１と、画像処理により駐車状況の判定を行う画像処理装置１０２と、ディスプレイやキーボードなどの入出力装置１０３と、LANなどのネットワーク１０４とを含むように構成される。

ネットワークカメラ１０１は、撮像した画像データをネットワーク１０４で配信する。また、画像処理装置１０２は、ネットワークカメラ１０１が配信した画像データをネットワーク１０４を介して受信する。また、受信した画像データを解析して駐車状況を判定し、入出力装置１０３に備わったディスプレイなどに判定結果を表示する。本実施形態では、ネットワークカメラ１０１から配信された画像データを解析して駐車状況を判定する構成を説明するが、判定対象の画像データの取得方法はこれに限定されない。例えば、ネットワークカメラ１０１内のストレージ装置や、画像処理装置１０２に接続されたストレージ装置や、ネットワーク１０４に別途接続されたストレージ装置に保存された画像データを画像処理装置１０２が取得し、これらを判定対象としてもよい。

入出力装置１０３は、入力装置として、キーボード、マウス、タッチパネル、ボタン、スイッチ等を含むことができる。また、出力装置として、ディスプレイ、スピーカを含むことができる。入出力装置１０３は、画像処理装置１０２と表示情報転送用ケーブル（たとえばDVIケーブルやHDMI（登録商標）ケーブル）や入力情報転送用ケーブル（たとえばUSB接続用ケーブル）によって有線接続されてもよいし、Bluetooth（登録商標）やWLANのような無線通信プロトコルに従って無線接続されてもよい。あるいは、入出力用の装置を別途準備し、ネットワーク１０４を介して接続する構成としてもよい。

ネットワーク１０４は、ネットワークカメラ１０１と、画像処理装置１０２とを相互に通信可能に接続する。また、ネットワーク１０４は例えばLANとして構成することができるが、無線あるいは専用ケーブルを使用したネットワークを構築しても良い。

以上のネットワークカメラ１０１と、画像処理装置１０２と、入出力装置１０３と、ネットワーク１０４は、図中ではそれぞれ一つのブロックとして図示したが、それぞれが複数のハードウェアから構成されていてもよい。また、図１（Ａ）では、ネットワークカメラ１０１と画像処理装置１０２とがネットワーク１０４を介して接続される構成を示したが、画像処理装置１０２で実行する駐車状況判定処理をネットワークカメラ１０１内で実行できるように、画像処理装置１０２の機能の一部をネットワークカメラ１０１側に持たせてもよい。さらには、図１（Ａ）では、ネットワークカメラ１０１、画像処理装置１０２及び入出力装置１０３を独立した構成として示したが、これらの機能を包含するネットワークカメラとして一体的に構成してもよい。

次に、図１（Ａ）に示した各装置の構成及び動作を説明する。ネットワークカメラ１０１は、通信制御部１０５、データ処理部１０６、画像入力部１０７及び撮像部１０８を含むように構成することができる。通信制御部１０５が、画像処理装置１０２から画像データ要求を受信すると、ネットワークカメラ１０１で生成した画像データをネットワーク１０４を介して配信する。このとき、撮像部１０８は、複数の自動車を駐車可能な複数の駐車領域を有する駐車場を撮影して動画又は静止画の撮像画像データを画像入力部１０７に出力する。画像入力部１０７は撮像部１０８から入力された撮影画像データに対してA/D変換処理及び所定の現像処理を行ってデータ処理部１０６に出力する。現像処理には、例えば、ディベイヤ処理、ホワイトバランス処理、階調変換処理、エッジ強調補正処理、キズ補正、ノイズ除去、拡大縮小処理、YCbCr形式への色変換などの処理を含むことができる。データ処理部１０６は、画像入力部１０７から取得した撮像画像データをＭｏｔｉｏｎＪＰＥＧなどのフォーマットに圧縮処理して画像データを生成し、通信制御部１０５に出力する。通信制御部１０５は、当該画像データをネットワーク１０４に送出する。

画像処理装置１０２は、通信制御部１０９、データ処理部１１０、判定部１１１、領域決定部１１２、I/O制御部１１３を含むように構成することができる。画像処理装置１０２がネットワークカメラ１０１から画像データを取得しようとする場合、データ処理部１１０が画像データ取得のための要求コマンドを生成する。データ処理部１１０が生成したコマンドは通信制御部１０９からネットワーク１０４を介してネットワークカメラ１０１に送信される。通信制御部１０９が要求コマンドの応答としてネットワークカメラ１０１から画像データを受信すると、当該画像データはデータ処理部１１０に渡されて処理される。データ処理部１１０は、画像データを判定部１１１において処理することが可能な形式に変換する。本実施形態では、図２を参照して後述するようにエッジ検出処理に基づき画像を２値化データに変換する。判定部１１１は、領域決定部１１２によって決定された判定対象領域において、自動車が停車されているか否かを判定する。判定部１１１における判定結果はI/O制御部１１３を介して入出力装置１０３に出力される。例えば、入出力装置１０３は受信した判定結果をディスプレイ表示することができる。本実施形態では、判定結果を入出力装置１０３のディスプレイに表示出力する場合を説明するが、さまざまなファイル形式別途記録しておく構成を採用することができる。

図１（Ａ）のネットワークカメラ１０１、画像処理装置１０２及び入出力装置１０３において、撮像素子、表示素子、キーボード、タッチパネルのような物理的デバイスを除き、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。

次に、図１（Ｂ）を参照して、ネットワークカメラ１０１による駐車場の撮影状況について説明する。図１（Ｂ）は、本実施形態における、駐車場でのネットワークカメラ１０１の配置例を示す図である。

図１（Ｂ）において、ネットワークカメラ１０１は、監視対象の駐車場１２０を斜めの方向から撮影するような位置に設置される。このとき、駐車場１２０は複数台の自動車を駐車できるように、複数の駐車領域１２１から１２４に区画されている。ネットワークカメラ１０１は、例えば、駐車領域１２１から１２４で構成される矩形の対角線の延長線上、或いは、その付近に配置することができる。本実施形態において「駐車領域」の語は、１台の自動車を駐車するための領域を意味する語として説明する。本実施形態では、自動車４台分の駐車領域が隣接して構成された駐車場を例として説明するが、駐車領域の数を４つとしたのはあくまで例示的目的であって、本発明を適用可能な駐車場に含まれる駐車領域の数は、より多くても、或いは、少なくてもよい。また、図１（Ｂ）では、例示目的により、１台の自動車１２５のみが駐車されている場合を示している。本実施形態では、各駐車領域が線により区画され、かつ、直接に隣接している場合を示しているが、線による区画が成されていなくてもよい。また、所定の間隔をおいて駐車領域が配置されていてもよい。

本実施形態では、図１（Ｂ）のようなネットワークカメラ１０１、駐車領域１２１から１２４、自動車１２５の位置関係において、ネットワークカメラ１０１により近い側で、かつ、自動車１２５のフロント側になるほど、手前側に位置するものとして説明する。例えば、駐車領域１２４は、４つの駐車領域の中で最もネットワークカメラ１０１の近くに位置するので、もっとも手前に存在していることになる。また、駐車領域１２３と駐車領域１２４との関係では、駐車領域１２４は駐車領域１２３の手前に隣接している駐車領域となる。また、駐車領域を規定する矩形形状の４辺や、４頂点のうち、自動車１２５のフロント側に位置する辺、頂点ほど、手前側に位置していることになる。

次に、画像処理装置１０２における駐車状況判定処理の詳細を説明する。まず、図２を参照して、本実施形態において処理対象となる、複数の自動車を駐車可能な複数の駐車領域を有する駐車場の画像について説明する。図２（Ａ）に示す画像２０１は、図１（Ｂ）に示すような位置関係において駐車場１２０をネットワークカメラ１０１で撮像した場合の撮像画像の一例である。本実施形態において、画像は、画像の左上を原点として水平方向にX軸、垂直方向にY軸が設定され、各画素には、当該座標系における位置を示す（ｘ、ｙ）の座標情報が与えられる。

図２（Ａ）の例では、画像２０１には、駐車領域１２１から１２４に対応する領域として、枠線２０２により区切られた４つの駐車領域２０３から２０６が含まれている。ここではまだ自動車は駐車されていない。図２（Ｂ）は、画像２０１について、前述の駐車領域２０３から２０６のうち、駐車領域２０５の枠線の内側に判定対象領域２０７を設定した様子を示している。また、図２（Ｃ）は、設定した判定対象領域２０７上に自動車２０９が停車している状態の一例を示す画像２０８を示している。

次に、図２（Ｄ）及び（Ｅ）は、画像２０１及び画像２０８からエッジ情報を抽出するエッジ検出処理を行ったエッジ検出結果の画像の例を示す。ここでは、エッジ検出結果を２値画像として示している。エッジ画像２１０および２１１において、白色で示された部分は画像２０１及び２０８においてエッジを構成すると判定された画素に該当し、黒色で示された部分はエッジを構成しないと判定された画素に相当する。図２（Ｄ）は、図２（Ｂ）で示したように、自動車が１台も駐車されていない場合のエッジ検出結果を示す一方、図２（Ｅ）は、図２（Ｃ）で示したような判定対象領域２０７に自動車２０９が駐車されている場合のエッジ検出結果を示す。

本実施形態では、判定対象領域内に存在するエッジ成分の多寡によって車の有無を判定する場合を説明する。具体的には、エッジ成分量に関する閾値をあらかじめ定めておき、判定対象領域内に含まれるエッジ成分量が閾値より少なければ「空車」と判定し、閾値以上であれば「駐車中」と判定する。図２（Ｄ）に示す例では、画像２１０は、図２（Ｂ）の画像２０１における判定対象領域２０７に対応する領域内にエッジ成分が存在していないので「空車」と判定される。一方、画像２１１は、判定対象領域２０７に対応する領域内に車のボディやタイヤ等に起因するエッジが含まれており、これらのエッジ成分量が閾値を超える場合には「駐車中」と判定される。

本実施形態では、上述の方法により駐車中の自動車の有無を判定する構成について説明するが、特定の領域内における自動車の有無を判定する方法は、上述の方法に限ったものではなく、種々の方法が利用可能である。

次に、本実施形態に対応する判定対象領域の設定方法について説明する。本実施形態における判定対象領域は、判定対象となる駐車領域に隣接する駐車領域に自動車が停車している場合でも、当該停車中の自動車により影響を受けない範囲を含むように設定することができる。判定対象領域の詳細について、以下では図３を参照して説明する。図３は、本実施形態に対応する、判定対象領域の設定方法を説明するための図である。

図３（Ａ）は、判定対象領域の設定方法の一例を示す図である。ここで、４つの隣接する駐車領域２０３から２０６のうち手前から２番目の太線で示す駐車領域２０５について判定対象領域を設定する場合を説明する。図３（Ａ）において、破線３０１及び３０２は、駐車領域２０５を構成する矩形状の４頂点のうち前面に位置する２つの頂点に設定した垂線を示す。駐車領域２０５の内側において、垂線３０２の右側の領域３０３は、駐車領域２０５に隣接する駐車領域２０６に自動車が停車したときにその自動車が重なって遮蔽されてしまう可能性が高い。一方、垂線３０１と３０２で挟まれた領域３０４は、判定対象となる駐車領域２０５に隣接する駐車領域２０６に自動車が停車していても当該自動車により遮蔽されることはない。このような領域のことを本実施形態では、非遮蔽領域と呼ぶ。一方、自動車により遮蔽されてしまう領域、或いは、駐車領域における非遮蔽領域以外の領域を遮蔽領域と呼ぶ。そして、本実施形態では、駐車領域２０５の判定対象領域を、遮蔽領域を除外して非遮蔽領域である領域３０４に設定することで、手前に隣接する他の駐車領域２０６における自動車の停車の有無にかかわらず、駐車領域２０５における自動車の停車の有無を的確に判定することが可能となる。

次に、図３（Ｂ）及び（Ｃ）を参照して説明する。図３（Ｂ）及び（Ｃ）は、判定対象領域の設定方法の他の一例として、直方体モデルを用いる方法を説明するための図である。この例において、直方体モデルは、駐車される個々の自動車の形状を模式的に示したモデルであって、図３（Ｂ）は隣接する４つの駐車領域２０３から２０６の各々に自動車が停車している状態を直方体モデル３１１から３１４により示している。各直方体モデルの高さは、自動車の一般的な高さからあらかじめ決定しておくことができる。或いは、停車可能な最大のサイズの自動車の高さから決定してもよい。

図３（Ｃ）は、隣接する４つの駐車領域２０３から２０６のうち、手前から２番目の駐車領域２０５にだけ自動車が停車していない状態を示している。この状態において駐車領域２０５における自動車の駐車の有無を判定しようとする場合、手前に隣接する駐車領域２０６に駐車している自動車（直方体モデル３１４）により、駐車領域２０５内の領域のうち領域３２１は遮蔽されてしまう。このように、領域３２１は手前に隣接する駐車領域２０６に自動車が停車した際に当該自動車による影響を受ける遮蔽領域である。その一方、駐車領域２０５内の領域３２２は、手前に隣接する駐車領域２０６に自動車が停車した場合でも当該自動車により遮蔽されない非遮蔽領域である。そこで、非遮蔽領域である領域３２２を駐車領域２０５の判定対象領域に設定することができる。

なお、図３（Ｂ）、（Ｃ）で示した方法では、自動車のモデルとして所定の高さを持った直方体モデルを使用しているが、実際の自動車を模したモデルを使用しても良いし、無限大の高さを持つ四角柱を使用してもよい。

本実施形態では、以上の２通りの手法により、複数の駐車領域２０３から２０６のそれぞれについて、判定対象領域を設定することができる。図３（Ｄ）は、駐車領域２０３から２０６のそれぞれに対して設定された判定対象領域の一例を示している。領域３３１から３３４は、それぞれ設定された判定対象領域である。ここで、一番手前の判定対象領域３３４は、手前側に隣接する駐車領域がないため、駐車領域２０６全面が非遮蔽領域となる。そこで、図３（Ｄ）では駐車領域２０６の全面を判定対象領域としているが、他の領域について設定したのと同様の形状としてもよい。この場合、判定対象の領域が狭くなる分だけ演算負荷を軽減することができる。

図３（Ｅ）は、以上のようにして設定された判定対象領域をネットワークカメラ１０１が撮像した画像に重畳することで、識別可能に表示した場合の表示の一例を示す図である。これにより、ネットワークカメラ１０１のユーザは、駐車場のどの位置において検出を行うのかを視覚的に認識することができる。また、この表示に基づいて、判定対象領域の大きさや形状を調整することもできる。

次に、本実施形態における処理の流れを図４を参照して説明する。本実施形態では、まず判定対象領域の設定を行った後、ネットワークカメラ１０１から受信した画像について自動車の駐車状況を判定する。図４は、画像処理装置１０２における処理の一例を示すフローチャートである。該フローチャートに対応する処理は、例えば、データ処理部１１０、判定部１１１及び領域決定部１１２として機能する１以上のプロセッサが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。

まず、Ｓ４０１では、領域決定部１１２はネットワークカメラ１０１から受信した処理対象の画像を処理して、複数の駐車領域を設定する。本実施形態の場合、図２を参照して説明したように、画像２０１から駐車領域２０３から２０６を設定する。例えば、図２（Ａ）に示すような駐車場では、駐車領域２０３から順に選択していくことができる。或いは、駐車領域２０６から逆順であってもよい。続くＳ４０２では、領域決定部１１２は判定対象領域を設定する駐車領域を複数の駐車領域の中から選択する。続くＳ４０３では、領域決定部１１２は選択した駐車領域について、手前に隣接する駐車領域の有無を判定する。例えば、図２（Ａ）の場合、駐車領域２０３から２０５までは、手前に隣接する駐車領域が存在すると判定される。このような場合、処理はＳ４０５に進む。一方、駐車領域２０６は手前に隣接する駐車領域が存在しないと判定される。このような場合、処理はＳ４０４に進む。

手前に隣接する駐車領域が存在するか否かは、各駐車領域を構成する画素の座標情報に基づいて判定することができる。例えば、駐車領域は基本的に矩形形状であり、一定方向に並んでいるので、図１（Ｂ）に示す撮像条件であれば、駐車領域を構成する画素で最大の座標値を有するものを比較すれば、互いの相対的な位置関係を特定することができる。具体的に図２（Ａ）に示す領域２０３から２０６では、各領域を構成する頂点のうち最大の座標値を有するものが、もっとも手前側に位置する。従って、これらの座標値の大きさを比較することにより駐車領域の間において相対的な位置関係を特定することが可能となる。同時に、ある駐車領域に対してどの駐車領域が手前に位置するか、また、手前に隣接しているかを決定することができる。

続くＳ４０４では、領域決定部１１２は選択された駐車領域について判定対象領域を駐車領域全面に設定する。このとき、例えば、領域決定部１１２は当該駐車領域全面に対応する画素値の値を１とし、残りの領域を０とするマスクを生成することができる。また、Ｓ４０５では、領域決定部１１２は選択された駐車領域について判定対象領域を、当該駐車領域における非遮蔽領域に設定する。非遮蔽領域の決定方法は図２を参照して説明した通りである。このとき、例えば、領域決定部１１２は当該非遮蔽領域に対応する画素値の値を１とし、残りの領域を０とするマスクを生成することができる。図５（Ａ）から（Ｄ）は、順に駐車領域２０３から２０６の各駐車領域について生成された、判定対象領域を設定するためのマスクの一例を示す。領域決定部１１２は、各駐車領域について生成したマスク情報を、判定対象領域を特定するための情報として判定部１１１に提供する。

Ｓ４０７では、判定部１１１が、領域決定部１１２から提供されたマスク情報と、データ処理部１１０から提供されたエッジ情報とに基づき、複数の駐車領域のそれぞれについて自動車の駐車の有無を判定する。当該判定は、例えば以下のように行うことができる。まず、エッジ情報と、マスク情報とをそれぞれ構成する画素値について、対応する位置の画素値の間で論理積をとる。このとき、エッジ情報においては、エッジ成分に相当する画素は１の画素値を有し、マスク情報において判定対象領域に含まれる画素は１の画素値を有している。よって、判定対象領域内のエッジ成分については当該論理積により１の値が得られる。一方、判定対象領域外のエッジ成分はマスク情報の画素値が０であるために値は０となる。これにより、判定対象領域内のエッジ成分のみを抽出することが可能になる。そして、判定部１１１は、論理演算結果から、判定対象領域内のエッジ成分について、エッジ成分量（例えば、エッジを構成する画素数）を算出し、閾値と比較することにより、対応する駐車領域に自動車が駐車されているか否かを判定する。当該判定を図５（Ａ）から（Ｄ）に示すような各マスク情報５０１から５０４を用いて行うことにより、判定部１１１は、駐車領域２０３から２０６のそれぞれについて自動車の駐車の有無を判定することができる。

判定部１１１は、判定対象領域の大きさに応じて閾値の大きさを変更することができる。閾値は、判定対象領域毎に設定されてもよい。例えば、判定対象領域を構成する画素数に所定の係数をかけた値を閾値としてもよい。また、判定対象領域の大きさをいくつかのグループに分類し、グループ毎の閾値を設定してもよい。この場合、同一グループに属する大きさを有する判定対象領域には共通の閾値が用いられる。また、エッジ成分量は、判定対象領域におけるエッジ成分の割合（エッジ成分を構成する画素数／判定対象領域を構成する画素数）として求めてもよい。この場合、閾値は割合に対応するものであるので、複数の判定対象領域について共通に設定してもよい。

図６は、駐車領域２０４、２０５についての判定処理の一例を示す図である。図２のエッジ画像２１１が判定部１１１に入力された場合に、マスク情報５０２とマスク情報５０３とを利用した論理演算結果は画像６０１及び６０２のようになる。画像６０１では駐車領域２０４の輪郭を構成するエッジのみが含まれており、駐車領域２０５に駐車されている自動車のエッジ情報は含まれない。よって、判定対象領域内で検出されたエッジ成分量は閾値を下回り、駐車領域２０４には自動車は駐車されていないと判定される。一方、画像６０２では駐車領域２０５に停車されている自動車の輪郭を構成するエッジが含まれる。よって、判定対象領域内で検出されたエッジ成分量は閾値以上となり、駐車領域２０５には自動車は駐車されていないと判定される。

なお、図６では、判定対象となる駐車領域に自動車が止まっていない場合には、駐車領域の輪郭線のエッジ情報が判定対象領域内で検出されているが、当該輪郭線のエッジ情報が判定対象領域内に含まれないように判定対象領域の大きさを調整してもよい。この場合、自動車の有無によるエッジ成分量の差分がより大きくなるので、検出精度をより高めることができる。

続くＳ４０８では、判定部１１１は、得られた判定結果をI/O制御部１１３を介して入出力装置１０３に出力する。例えば、入出力装置１０３は、受信した判定結果に基づいて駐車領域毎の自動車の駐車の有無をディスプレイに表示することができる。

上述した図４のフローチャートでは、まず領域決定部１１２が判定対象領域の設定を行ってから、判定部１１１が駐車領域毎の自動車の駐車の有無を判定する流れとなっている。ここで、領域決定部１１２における領域設定処理は事前に行っておくことで、判定部１１１による判定処理の度に毎回実行しなくてもよい。特に、駐車場の監視のようにネットワークカメラ１０１が固定的に設置される場合、設置時に判定対象領域を設定すればよく、その後は設置場所や角度が変更された場合に判定対象領域を設定し直せばよい。

また、Ｓ４０７における判定処理は、ネットワークカメラ１０１が画像データを出力する度にリアルタイムに実行してもよい。また、ネットワークカメラ１０１が出力した画像データを画像処理装置１０２に接続されたストレージ装置や、ネットワーク１０４に別途接続されたストレージ装置に保存しておき、Ｓ４０７における判定処理を所定のタイミングで実行してもよい。

また、Ｓ４０６の判定処理において全ての駐車領域に判定対象領域が設定されたと判定された後、領域決定部１１２は、設定した判定対象領域を、ネットワークカメラ１０１で撮像した駐車場の実際の画像に重畳して入出力装置１０３で表示することができる。当該表示は、判定対象領域を設定する過程で行ってもよい。当該表示により、駐車領域におけるどの領域が判定対象領域となっているかをユーザが確認することができる。このときの表示結果の一例は図３（Ｅ）に示すようになる。また、当該確認表示の際に、ユーザから入出力装置１０３の所定の入力装置を介して判定対象領域の大きさや形状を変更するための入力を受付け、受付けた指示に応じて領域決定部１１２が判定対象領域を修正してもよい。

また、ここまでは図１（Ｂ）のような配置例における実施形態を説明したが、適用可能な配置はこれに限定されない。たとえば図１０（Ａ）は駐車領域１００１を正面に設置したネットワークカメラ１００２から撮影している配置を示しており、図１０（Ｂ）は図１０（Ａ）のネットワークカメラ１００２で撮影された撮影画像の一例を示している。このような配置における判定対象領域の設定について図１１および図１２を用いて説明する。

図１１（Ａ）は、５つの隣接する駐車領域１１０１から１１０５を示しており、これらの駐車領域に対して判定対象領域を設定する場合を説明する。図１１（Ｂ）において、破線１１０６から１１１１は、駐車領域１１０１から１１０５を構成する矩形状の４頂点のうち前面に位置する頂点に設定した垂線を示す。ここで例えば駐車領域１１０４の内側において、垂線１１０９の左側の領域１１１２は、駐車領域１１０４に隣接する駐車領域１１０３に自動車が停車したときにその自動車が重なって遮蔽されてしまう可能性が高い。一方、垂線１１０９と１１１０で挟まれた領域１１１３は、判定対象となる駐車領域１１０４に隣接する駐車領域１１０３に自動車が停車していても当該自動車により遮蔽されることはない。このようにして、図１１（Ｃ）に示すように駐車領域１１０１から１１０５の判定対象領域１１１４から１１１８を設定することが可能である。

次に、直方体モデルを用いる方法で判定対象領域を設定する場合について図１２を参照して説明する。図１２（Ａ）は隣接する５つの駐車領域の各々に自動車が停車している状態を直方体モデル１２０１から１２０５により示している。図１２（Ｂ）は、隣接する５つの駐車領域のうち、右から２番目の駐車領域にだけ自動車が停車していない状態を示している。この状態において、この駐車領域における自動車の駐車の有無を判定しようとする場合、左に隣接する駐車領域１２０６に駐車している自動車（直方体モデル１２０３）により、領域１２０７は遮蔽されてしまう。その一方、領域１２０８は、左に隣接する駐車領域１２０６に自動車が停車した場合でも当該自動車により遮蔽されないため、領域１２０８を判定対象領域に設定することができる。このようにして、図１２（Ｃ）に示すようにそれぞれの駐車領域に対する判定対象領域１２０９から１２１３を設定することが可能である。

以上のように、図１０（Ａ）のような配置であっても判定対象領域を設定可能である。また、複数台のネットワークカメラを設置して、複数列から成る駐車領域に対して判定を行っても良い。

以上で説明した発明の実施形態によれば、複数の隣接する駐車領域における駐車自動車の有無を１方向から撮影した画像に基づき判定する場合に、他の駐車領域における自動車の有無に影響を受けることなく、個々の駐車領域における自動車の有無を精度良く判定することができる。また、発明によれば、駐車場の混雑度を測定可能になる他、駐車領域毎の駐車有無が判定可能になるため、混雑した駐車場内で空車になっている場所を提示するような駐車状況判定システム１００を構築するうえで好適である。

［実施形態２］
次に、発明の第２の実施形態における判定対象領域の決定方法について説明する。上述の実施形態１では、個々の駐車領域について設定する判定対象領域の大きさは、隣接する駐車領域における自動車の有無にかかわらず固定的であった。これに対し、本実施形態では隣接する駐車領域における自動車の有無に応じて、設定する判定対象領域の大きさを可変とする。

本実施形態における駐車状況判定システム１００の構成及びネットワークカメラ１０１の配置は図１に示した実施形態１におけるものと同様とすることができる。また、画像処理装置１０２における判定対象領域内の自動車の有無を判定する方法についても、図２および図３との関連で説明した方法と同様とすることができる。

以下、本実施形態における判定対象領域の決定方法について、図７を参照して説明する。図７は、本実施形態における判定対象領域の決定方法を説明するための図である。本実施形態においても、判定対象領域を設定する対象となる駐車場の構成は図２に示したものと同様である。図２（Ａ）に示すように、駐車場は複数の駐車領域２０３から２０６を含むように構成されている。これらの駐車領域の各頂点に図３（Ａ）に示した垂線を設定して、これにより各駐車領域を分割すると、図７に示すように駐車領域２０３は、領域７０１、７０５、領域２０４は領域７０２、７０６、領域２０５は領域７０３、７０６にそれぞれ分割されるが、駐車領域２０６は分割されず、全体として領域７０４となる。

実施形態１では、隣接する駐車領域の影響を受けないようにするため、領域７０１から７０４を判定対象領域としていたが、本実施形態では、隣接する駐車領域の駐車有無に応じて判定対象領域を随時変更する。

本実施形態では、画像において一番手前側に位置する駐車領域２０６に対して駐車有無を判定する。このとき、駐車領域２０６は一番手前なので隣接する他の駐車領域における自動車の影響を受けない。そこで駐車領域２０６の判定対象領域７０４は駐車領域全体に設定する。次に、手前から二番目の駐車領域２０５の判定対象領域を決定するが、このとき、駐車領域２０６の判定結果によって判定対象領域を変更する。駐車領域２０６の判定結果が「駐車中」の場合、領域７０６は駐車領域２０６に駐車中の自動車の影響により、少なくとも一部が遮蔽されて遮蔽領域となってしまうため、駐車領域２０５の判定対象領域は７０３のみとする。一方、駐車領域２０６の判定結果が「空車」の場合、領域７０６は影響を受けることがないため、駐車領域２０５の判定対象領域は領域７０３と７０６とを合わせた領域とする。このようにして決定した判定対象領域に基づいて、駐車領域２０５の駐車有無を判定する。以降、駐車領域２０４及び２０３も同じように手前の駐車領域の駐車有無の判定結果に応じて判定対象領域を変更する。

このように本実施形態では、一番手前の駐車領域から順に駐車有無の判定を行っていくが、同様の考え方で、一番後方の駐車領域から順に駐車有無を判定して、判定結果によってその手前の駐車領域の判定対象領域を変更するようにしてもよい。

次に、本実施形態における処理の流れを図８を参照して説明する。図８は、画像処理装置１０２における処理の一例を示すフローチャートである。該フローチャートに対応する処理は、例えば、データ処理部１１０、判定部１１１及び領域決定部１１２として機能する１以上のプロセッサが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。

まず、Ｓ８０１では、領域決定部１１２はネットワークカメラ１０１から受信した処理対象の画像を処理して、複数の駐車領域を設定する。本実施形態の場合も、図２を参照して説明したように、画像２０１から駐車領域２０３から２０６を設定する。続くＳ８０２では、領域決定部１１２は判定対象領域を設定する駐車領域を複数の駐車領域の中から選択する。このとき、図２（Ａ）に示すような駐車場では、画像において手前側に位置する駐車領域２０６から順に選択していく。

続くＳ８０３では、領域決定部１１２は選択した駐車領域について、それよりも手前に隣接する駐車領域における駐車有無（「駐車中」または「空車」）の判定結果を参照する。手前に隣接する駐車領域について「駐車中」と判定されている場合には処理はＳ８０５に進み、「空車」と判定されている場合には処理はＳ８０４に進む。なお、選択された駐車領域が駐車領域２０６の場合には、手前に隣接する駐車領域が存在しないので、処理はＳ８０４に進む。

Ｓ８０４では、領域決定部１１２は選択された駐車領域について判定対象領域を駐車領域全面に設定する。このとき、例えば、領域決定部１１２は当該駐車領域全面に対応する画素値の値を１とし、残りの領域を０とするマスクを生成することができる。また、Ｓ８０５では、領域決定部１１２は選択された駐車領域について判定対象領域を、当該駐車領域における非遮蔽領域に設定する。図７に示す例であれば、領域７０１、７０２、７０３のいずれかが判定対象領域となる。非遮蔽領域の決定方法は図２や図７を参照して説明した通りである。このとき、例えば、領域決定部１１２は当該非遮蔽領域に対応する画素値の値を１とし、残りの領域を０とするマスクを生成することができる。図５（Ａ）から（Ｃ）は、順に領域７０１から７０３について生成された、判定対象領域を設定するためのマスクの一例を示す。領域決定部１１２は、生成したマスク情報を、判定対象領域を特定するための情報として判定部１１１に提供する。

続くＳ８０６において、判定部１１１が、領域決定部１１２から提供されたマスク情報と、データ処理部１１０から提供されたエッジ情報とに基づき、選択された駐車領域について自動車の駐車の有無を判定する。ここでの判定方法は実施形態１の図４のフローチャートのＳ４０７について説明した方法と同様であるので記載は省略する。

次に、Ｓ８０７において、領域決定部１１２は、駐車中の自動車の有無を判定していない未判定の駐車領域があるかどうかを判定し、未判定の駐車領域がある場合にはＳ８０２に戻り、上記処理を繰り返す。一方、未判定の駐車領域がない場合には処理はＳ８０８に進む。続くＳ８０８では、判定部１１１は、得られた判定結果をI/O制御部１１３を介して入出力装置１０３に出力する。入出力装置１０３は、受信した判定結果に基づいて駐車領域毎の自動車の駐車の有無を表示することができる。

以上で説明した発明の実施形態によれば、隣接する駐車領域における駐車中の自動車の有無に応じた判定対象領域を設定して、判定をおこなうことが可能となる。

次に、以上の実施形態１及び実施形態２の駐車状況判定システム１００を構成する装置のハードウェア構成について説明する。図１３（A）は、駐車状況判定システム１００を構成する画像処理装置１０２のハードウェア構成の一例を示すブロック図である。

図１３（Ａ）において、ＣＰＵ１３００は、ハードディスク装置（以下、ＨＤと呼ぶ）１３０５に格納されているアプリケーションプログラム、オペレーティングシステム（ＯＳ）や制御プログラム等を実行し、ＲＡＭ１３０２にプログラムの実行に必要な情報、ファイル等を一時的に格納する制御を行う。CPU１３００は、対応するプログラムを実行することによりデータ処理部１１０、判定部１１１、領域決定部１１２として機能し、上述した図４及び図８における処理を実行することができる。

ＲＯＭ１３０１は、内部に基本Ｉ／Ｏプログラムの他、所定の処理を実行するアプリケーションプログラム等の各種データを記憶する。ＲＡＭ１３０２は各種データを一時記憶し、ＣＰＵ１３００の主メモリ、ワークエリア等として機能する。また、ネットワークカメラ１０１から受信した情報を一時的に記憶する。

外部記憶ドライブ１３０３は、記録媒体へのアクセスを実現するための外部記憶ドライブであり、メディア（記録媒体）１３０４に記憶されたプログラム等を本コンピュータシステムにロードすることができる。尚、メディア１３０４は、例えば、フロッピー（登録商標）ディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＰＣカード、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＩＣメモリカード、ＭＯ、メモリスティック等を利用することができる。

外部記憶装置１３０５は、本実施形態では大容量メモリとして機能するＨＤ（ハードディスク）を用いている。ＨＤ１３０５には、アプリケーションプログラム、ＯＳ、制御プログラム、関連プログラム等が格納される。なお、ハードディスクの代わりに、フラッシュ（登録商標）メモリ等の不揮発性記憶装置を用いても良い。

指示入力装置１３０６は、キーボードやポインティングデバイス（マウス等）、タッチパネル等がこれに相当する。出力装置１３０７は、指示入力装置２１６から入力されたコマンドや、それに対する画像処理装置１０２の応答出力等を出力する。出力装置１３０７にはディスプレイ、スピーカ、ヘッドフォン端子等を含むことができる。システムバス１３０９は、装置内のデータの流れを司る。

インタフェース（以下、Ｉ／Ｆという）１３０８は、外部装置とのデータのやり取りを仲介する役割を果たす。具体的に、Ｉ／Ｆ１３０８は、無線通信モジュールを含むことができ、当該モジュールはアンテナシステム、ＲＦ送受信器、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。また、有線接続のための有線通信モジュールを含むことができる。有線通信モジュールは１つ以上の外部ポートを介して他のデバイスとの通信を可能とする。また、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、ＵＳＢやＩＥＥＥ１３９４等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。

本実施形態に対応する処理を実行するために対応するプログラムを動作させる度に、既にプログラムがインストールされているＨＤ１３０５からＲＡＭ１３０２にロードするようにしてもよい。また、本実施形態に係るプログラムをＲＯＭ１３０１に記録しておき、これをメモリマップの一部をなすように構成し、直接ＣＰＵ１３００で実行することも可能である。さらに、メディア１３０４から対応プログラム及び関連データを直接ＲＡＭ１３０２にロードして実行させることもできる。

次に、図１３（B）は、駐車状況判定システム１００を構成するネットワークカメラ１０１のハードウェア構成の一例を示すブロック図である。CPU１３１０、ROM１３１１、RAM１３１２、HD１３１５、指示入力装置１３１６、Ｉ／Ｆ１３１８、システムバス１３１９は、図１３（Ａ）で説明したCPU１３００、ROM１３０１、RAM１３０２、HD１３０５、指示入力装置１３０６、Ｉ／Ｆ１３０８、システムバス１３０９と同様の機能を有するので説明を省略する。なお、ＣＰＵ１３１０は、対応するプログラムを実行することによりデータ処理部１０６として機能することができる。カメラ部１３２０は、撮像面に結像された光像を光電変換してアナログ画像信号を出力するCMOS等の撮像素子、及び、アナログ画像信号をデジタル画像信号に変換するA/D変換器、現像処理部を含んで構成される。カメラ部１３２０は、図１（Ａ）の撮像部１０８及び画像入力部１０７に対応する構成である。

（その他の実施形態）
以上、第１および第２の実施形態として発明の実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：駐車状況判定システム、１０１：ネットワークカメラ、１０２：画像処理装置、１０３：入出力装置

Claims (13)

1. 画像処理装置であって、
   複数の自動車を駐車可能な複数の駐車領域を有する駐車場を撮影した画像を取得する取得手段と、
   前記画像において、他の駐車領域よりも奥側に位置する処理対象の駐車領域の区画において手前側の２つの頂点にそれぞれ垂線を設定し、当該駐車領域のうち当該各垂線に挟まれる駐車領域を判定対象領域として決定する決定手段と、
   前記画像から、前記判定対象領域において自動車を検出し、前記検出の結果に基づいて当該駐車領域における自動車の有無を判定する判定手段と、
   を備えることを特徴とする画像処理装置。
2. 画像処理装置であって、
   複数の自動車を駐車可能な複数の駐車領域を有する駐車場を撮影した画像を取得する取得手段と、
   前記画像において、処理対象の駐車領域よりも手前側の他の駐車領域に直方体又は自動車のモデルを配置し、当該処理対象の駐車領域のうち、前記他の駐車領域に配置された前記モデルと重ならない当該処理対象の駐車領域を判定対象領域として決定する決定手段と、
   前記画像から、前記判定対象領域において自動車を検出し、前記検出の結果に基づいて当該駐車領域における自動車の有無を判定する判定手段と、
   を備えることを特徴とする画像処理装置。
3. 前記複数の駐車領域の中から前記処理対象の駐車領域を選択する選択手段と、
   前記選択手段による選択に応じて、前記決定手段による決定処理を行うように制御する制御手段と、
   を備えることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記選択手段により選択された駐車領域の手前に隣接した前記他の駐車領域があるかを判定する領域判定手段を備え、
   前記決定手段は、前記領域判定手段により、前記他の駐車領域がない判定された場合には、前記選択された処理対象の駐車領域の全体を前記判定対象領域として決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記決定手段は、前記他の駐車領域に駐車される自動車により遮蔽されない非遮蔽領域を前記判定対象領域として決定し、前記他の駐車領域の自動車により遮蔽される遮蔽領域を前記判定対象領域から除外することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記決定手段は、前記他の駐車領域に前記自動車が駐車されているか否かを判定する駐車判定手段を備え、
   前記決定手段は、前記駐車判定手段により、前記他の駐車領域に前記自動車が駐車されていないと判定された場合に、前記処理対象の駐車領域の全体を前記判定対象領域として決定することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記判定手段は、前記判定対象領域におけるエッジ成分の検出結果に基づき、前記自動車の検出を行うことを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 前記判定手段は、前記判定対象領域の大きさに応じた閾値と、前記エッジ成分の検出結果とを比較し、検出されたエッジ成分量が前記閾値よりも大きい場合に前記自動車が有ると判定することを特徴とする請求項７に記載の画像処理装置。
9. 前記決定手段が前記複数の駐車領域のそれぞれについて決定した前記判定対象領域を、前記駐車場を撮影した画像において識別可能に示す情報を生成する生成手段を更に備えることを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
10. 前記生成手段が生成した情報をユーザの指示に従って修正する修正手段を更に備えることを特徴とする請求項９に記載の画像処理装置。
11. 画像処理装置の制御方法であって、
    複数の自動車を駐車可能な複数の駐車領域を有する駐車場を撮影した画像を取得する取得工程と、
    前記画像において、他の駐車領域よりも奥側に位置する処理対象の駐車領域の区画において手前側の２つの頂点にそれぞれ垂線を設定し、当該駐車領域のうち当該各垂線に挟まれる駐車領域を判定対象領域として決定する決定工程と、
    前記画像から、前記判定対象領域において自動車を検出し、前記検出の結果に基づいて当該駐車領域における自動車の有無を判定する判定工程と、
    を含むことを特徴とする画像処理装置の制御方法。
12. 画像処理装置の制御方法であって、
    複数の自動車を駐車可能な複数の駐車領域を有する駐車場を撮影した画像を取得する取得工程と、
    前記画像において、処理対象の駐車領域よりも手前側の他の駐車領域に直方体又は自動車のモデルを配置し、当該処理対象の駐車領域のうち、前記他の駐車領域に配置された前記モデルと重ならない当該処理対象の駐車領域を判定対象領域として決定する決定工程と、
    前記画像から、前記判定対象領域において自動車を検出し、前記検出の結果に基づいて当該駐車領域における自動車の有無を判定する判定工程と、
    を含むことを特徴とする画像処理装置の制御方法。
13. コンピュータを、請求項１から１０のいずれか１項に記載の画像処理装置として動作させるためのプログラム。

Images