JP6781711B2 - 駐車ゾーンを自動的に認識する方法及びシステム - Google Patents

Description

本発明は、少なくとも一つの街路において駐車ゾーンを自動的に認識する方法及びシステムに関する。

車両の数が狭い空間に増えるにつれて駐車情報が益々重要となる。以前は、人の手を介して駐車場が数えられ、それらの位置が把握されていた。しかし、駐車場の数とそれらの位置は、工事が行われることで絶えず変化する。

最新の乗用車には、超音波センサーとカメラが既に取り付けられており、これにより駐車場又は駐車スペースを測定することで、例えば自動的な駐車が可能となっている。特許文献１より既に周知の方法は、車両内部のカメラ画像に基づき駐車場及び空いた駐車スペースを認識する。

しかし、従来のシステムは大きな欠点を有する。一つの地域における駐車場の状況を把握するためには、その地域の各街路を少なくとも一回は通り過ぎなければならない。その場合、街路を異なる速度で通り過ぎる。一つの地域を完全にカバーすることは、思い通りに行くものではなく、時間がかかる。それらのカメラ画像は、車両が街路の何処を走行している（例えば、縁石との距離）のか、如何なる光の照射であるのかに大きく依存する。しかも、多くの場合、街路の右側だけしか記録することができない。更に、車両サイドでの工程は計算時間がかなりかかる。

独国特許出願公開第１０２０１２２０１４７２号明細書

以上のことから、本発明の課題は、上記の既知の欠点を克服して、少なくとも一つの街路において駐車ゾーンを特定することを可能とする方法及びシステムを提供することである。

本発明の対象は、少なくとも一つの街路において駐車ゾーンを自動的に認識する方法であり、この方法では、
ａ）計算ユニットを準備し、
ｂ）外部データメモリから、上記少なくとも一つの街路のパノラマ画像の形態の情報を読み込み、
ｃ）地図データベースから、この少なくとも一つの街路の街路データの形態の情報を読み込み、
ｄ）これらのパノラマ画像を保持する内部データベースを作成し、
ｅ）車両の存在に関して、読み込んだパノラマ画像を分析し、
ｆ）道路標識及び交通標識の存在に関して、読み込んだパノラマ画像を分析し、
ｇ）前記少なくとも一つの選択された街路に関する車両の存在と道路標識及び交通標識の存在の分析から、存在すると期待される駐車禁止／停車禁止ゾーンを特定し、
ｈ）前記認識された車両、道路標識に関して特定された情報と、駐車禁止／停車禁止ゾーン及び駐車ゾーンのマーキングとを含むデータセットを作成して保存し、
ｉ）このデータセットに含まれる情報を端末機器で可視化する。

本発明では、上記ｂ）で読み込まれるパノラマ画像が、少なくとも一つの街路の衛星撮影又はトラッキングショットにより作成された画像である方法が有利である。

パノラマ画像が、そのパノラマ画像の地理的位置に関する情報、走行方向の情報、街路名の情報及びデプスマップ（Ｔｉｅｆｅｎｋａｒｔｅ）に関する情報の中の一つ以上を有し、これらの情報がヒストリカルデータ（ｈｉｓｔｏｒｉｓｃｈｅ Ｄａｔｅｎ）である方法も有利である。

更に、上記ｃ）で読み込まれる街路データが街路の車線及び／又は街路の類型に関する情報を有する方法が有利である。

本発明では、パノラマ画像及び街路データの形態の情報の伝送が、内部データベース、外部データメモリ及び地図データベースの中の一つ以上と通信接続された計算ユニットのインタフェースを用いて実施される方法が特に有利である。

本発明では、上記工程ｅ）において、車両認識の分析をパノラマ画像をセグメント化することにより実施する方法も有利である。

更に、工程ｆ）において、交通標識及び道路標識の分析を道路標識の形状及び彩色を認識することにより実施する方法が有利である。

この場合、画像認識ソフトウェアを用いて分析を実施する方法が有利である。

本発明では、上記工程ｉ）において、データセットに含まれる情報を端末機器の別個のディスプレイに表示することによって、それらの情報を可視化する方法も有利である。

本発明による方法は、少なくとも以下の工程を有する。

衛星画像の読み込み：
一つの町又は一つの地域を自動的に完全に走破するために、パノラマ画像を自動的に評価することが考えられる。有利な実施形態では、そのために、グーグルストリートビューからデータを抽出する。そこでは、画像の位置、走行方向、街路名及びデプスマップ（深度マップ）に関する情報を有する、グーグルにより作成されたパノラマ画像を得ることができる。このシステムでは、例えば、グーグルストリートビューなどのマップ内の部分領域を選択することが可能である。それに基づき、グーグルストリートビューＡＰＩを呼び出すことによって、画像から画像へ隣り合う街路を通過する。

地図データの統合：
地図データは、街路の車線の数とその類型を提供する。それに基づき、カメラ画像の所要のズームレベル又は角度を設定することができる。更に、地図データは、例えば、駐車が許されない街路カテゴリーに街路が属する場合といった検証時の助けとなる。

車両認識の実施：
使用される方法はコンピュータビジョンの手法に基づくものである。この方法は次の工程から構成される。

画像のセグメント化：
車両や街路などのコンポーネントの分類、
画像の大きさ、画像内の位置などに基づく車両のカウント。

この方法は学習法であるので、一定のデータ量のラベル付けされた画像が訓練として必要である。

標識認識の実施：
標識の認識のために、二つの方法が使用される。一方の方法が形状を認識する一方で、他方の方法が特に画像の彩色を評価する。最終的に、認識された標識の積集合が使用される。この場合においても、この方法の学習のために、再び訓練データを使用しなければならない。

認識された標識と車両の融合：
駐車データを作成するために、駐車領域と停車禁止ゾーンを認識することが必要である。確かに、認識された車両に基づき、有効な駐車領域であると推定はできるが、間違った駐車に基づけば、それは確かな情報ではない。その一方で、車両が“存在しない”場合、停車禁止ゾーンであると推定することもできない。これらの理由から、認識された車両に関する情報が、認識された標識位置と融合される。この場合、有利な実施形態では、認識された標識の周囲における車両の数が分析される。その数が所定の比率／面積（Ｐｒｏｚｅｎｔｓａｔｚ／Ｆｌａｅｃｈｅ）を下回る場合に、停車禁止ゾーンが認識される。

得られた結果の可視化：
このシステムでは、認識された車両及び標識の可視化も、停車禁止ゾーン及び駐車ゾーンのマーキング（標示）（Ｍａｒｋｉｅｒｕｎｇ）も可能である。更に、パノラマ画像内の街路を自動的に走り回って、駐車車両と駐車ゾーンの認識を実施するシステムが利用可能である。

この可視化のために、特に、ＫＭＬデータファイルを用いることができる。ＫＭＬは、Ｋｅｙｈｏｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅの略号であり、地理データのためのマークアップ言語である。このようなデータファイルは、全ての形式の測地地図の重ね合わせ及び組合せに適している。本発明により画像認識モジュールから特定された結果及びデータセットは、ＫＭＬデータファイルに変換されることで別の地図データと一緒に可視化することができる。

本発明は、更に、コンピュータプログラム製品を提供し、この製品は、計算ユニットの内部メモリに直接ロードすることが可能であり、このコンピュータプログラム製品を計算ユニットで実行した場合に、本発明による方法の工程を実施するように実行可能なソフトウェアコード又はその一部を有する。

最後に、本発明は、
ａ）少なくとも一つの計算ユニット、
ｂ）パノラマ画像を有する少なくとも一つの外部データメモリ、
ｃ）街路データを有する少なくとも一つの地図データデース、
ｄ）少なくとも一つの内部データベース、
ｅ）存在する車両と存在する停車禁止ゾーン及び交通標識を分析するための少なくとも一つの画像認識ソフトウェア、及び
ｆ）情報を可視化するための少なくとも一つの端末機器、
を備えた、少なくとも一つの街路において駐車ゾーンを自動的に認識するシステムを提供する。

そのため、本発明によるシステムは、以下の、
選択された領域における画像の抽出およびパノラマ画像のプロバイダへのインタフェースと、
街路データを評価するための地図データベースへのインタフェースと、
画像データ及び属性を保持するためのデータベース及びその構造と、
画像認識ソフトウェア（車両認識）へのインタフェースと、
画像認識ソフトウェア（標識認識）へのインタフェースと、
認識結果を融合するためのモジュールと、
結果を可視化してデータを保存するためのモジュールと、
のコンポーネントを有する。

本発明と本発明により提供される方法、システム及びコンピュータプログラム製品は一連の利点を有する。本発明によるシステムを用いた本発明による方法によって、或る都市または或る新たな地域における駐車状況を自動的に初期化又は地図画像化するとともに、空いた駐車ゾーンに関する情報を的確にとらえることができる。

ここで、本発明を詳細に記述するとともに、添付図面を用いて詳しく説明する。

本発明による方法の一実施形態のフロー図である。 本発明による方法の一結果例を視覚的に表す図である。 本発明によるシステムの一実施形態の模式図である。

以下の実施例は、本発明を詳しく説明するが、本発明の範囲を制限するものではない。当業者は、ここで述べた解決策を考慮して、ここに記載された発明の思想及び範囲を逸脱すること無く、本発明の更に別の実施形態を構成することができる。

本発明は、所定の場所で予想される駐車場の利用可能性についての見通しを乗用車のユーザに提供する役割を果たす。この場合、第一に、そもそも目的地で駐車場が利用できるのか、さらにはどの範囲で利用できるのかを乗用車のユーザに通知するものとされている。実際に空いている駐車場が利用できるのかを確定することは、とりあえずは本発明の課題ではない。

ここで、図１には、本発明の一実施形態のフロー図が詳細に図示されている。ここで、この実施形態を詳しく説明し、記述する。

先ずは、駐車ゾーンを特定すべき少なくとも一つの街路を決定する。この決定は、ユーザ、例えば、乗用車で所定の場所を旅行したい人が行なうことができる。しかし、この決定は、このサービスのプロバイダ又は提供者が、このサービスをどの街路で提供すべきであるのかを予め決める際に行なうこともできる。そして、ユーザ（エンドユーザー）は、後からこの情報にアクセスすることができる。とはいえ、この決定される場所は、一つの街路だけではなく、例えば、複数の関連する街路や一つの地区など、更に他の把握される地域とすることもできる。この場所を決定するために、ユーザは、任意の計算ユニットで実行可能な本発明のコンピュータプログラム製品を使用する。そのような計算ユニットは、パーソナルコンピュータ（ＰＣ）、ラップトップ、ノートブック、スマートフォン及びそれらの同等物とすることができる。

次に、ユーザが検索キーワードによって所定の場所情報を計算ユニットに入力した場合、このコンピュータプログラム製品は、例えば、地図又は地図区画を表示する。次に、ユーザは、表示された地図上において、駐車ゾーンを認識すべき領域を選択する。

ここで、ユーザにより選択された領域内の駐車ゾーンを特定するために、コンピュータプログラム製品に収められたコンピュータプログラムが実行される。そのために、選択された領域の画像データが外部データメモリから読み込まれる。この画像データ用外部データメモリは、然るべき画像データ（有利にはパノラマ画像及び／又はビデオシーケンスの形による）を事前に収録して準備した外部プロバイダのデータメモリとしてもよい。これらの画像データ又はビデオデータは、通常はヒストリカルデータである。

本発明による然るべき好適なデータは、例えば、プロバイダであるグーグルによって、衛星画像及び／又はトラッキングショットの録画ビデオの形で収録されて保存される。グーグルアース又はストリートビューなどのグーグルにより提供されるプログラムによって、これらのデータにアクセスすることができる。別のプロバイダのデータも使用することができる。本発明では、異なるプロバイダのデータを組み合せるようにも設けられている。

ここで、本発明では、選択された領域の上述した然るべき画像データから、選択された領域の画像が抽出される。この場合、抽出される画像の数は、選択された領域全体を出来る限り完全に表示するように選択される。この場合、精確な評価を可能とするために、重なり合いを防止すべきである。この種の重なり合う領域は、既知の画像処理プログラムを用いて認識して排除することができる。

ここで、更に別の工程において、抽出された画像が車両に関して分析される。この場合、データ量を低減するために、抽出された画像を事前にセグメント化することができる。ここで、この分析において、先ずは車両又は街路などのコンポーネントを分類する。この場合、車両は、例えば、画像の大きさ又は画像内の位置に基づき認識される。個々の車両が識別、認識されると、画像の然るべきセグメント内の車両の数を特定することができる。これは学習法であるので、一定のデータ量のラベル付けされた画像が訓練に必要になる。

ここで、更に他の工程において、抽出された画像が道路標識に関して分析される。この標識認識を行うためには、別の方法が適している。一つの方法は、道路標識の形状が異なっていることを利用する。停車禁止及び／又は駐車禁止を表す道路標識は常に円形状である。更に、別の方法は、道路標識の認識及び分類のために道路標識の異なる彩色を利用する。停車禁止及び／又は駐車禁止を表す道路標識は、例えば、常に青と赤の色で構成される。これらの情報を纏めることによって、標識を一義的に認識及び分類することが可能である。この場合においても、然るべくラベル付けされた画像の形による訓練データを再び学習のために使用しなければならない。

ここで、更に、認識され検出された車両と、認識され検出された標識情報とから、有効な駐車ゾーンを特定するものとされている。そのためには、各駐車領域並びに停車禁止ゾーン及び駐車禁止ゾーンを認識することが必要である。場合によっては、間違って駐車した車両が有るために、特定された車両からだけでは、有効な駐車ゾーンであることを推定できない。更に、街路に車両が無いことは、駐車禁止ゾーンであるとの有効な示唆とはならない。そこで、むしろ認識された車両のデータを認識された標識及びその位置と融合しなければならない。これは、本発明による方法の更に別の工程において実施される。この融合によって、各街路の駐車ゾーンが一義的に特定される。この場合、本発明では、認識された標識の周囲における車両の数が分析される。この車両の数が事前に定義された限界値を下回った場合、停車禁止ゾーンが認識される。そのような限界値は、本発明では、例えば、それらの車両又は車両が占める面積の比率から算出又は決定することができる。

ここで、前の工程で特定された駐車ゾーンが一つのデータセットに変換された後、そのデータセットがデータメモリに保存される。そして、このデータセットが、画像データ及び／又は地図データのそれぞれ既に存在するデータファイルと重ね合わされる。図１に示された実施形態では、特定され認識された駐車ゾーンのデータセットを街路の地図と重ね合わせるために、これらのデータセットはＫＭＬデータファイルに変換される。そして、そのようにして得られる重ね合わされたデータファイルは、選択された街路において利用可能である相応の駐車ゾーンを含む。次に、そのようにして重ね合わされたデータファイルは、システムのユーザに対して可視化されて、例えば、モニター又はスクリーンに図示される。

そのような本発明による可視化が図２に図示されている。図２は、衛星画像により作成されるような感じで街路１１の平面図を図示している。街路１１の脇には、樹木とそれ以外の植物が確認できる。更に、この街路１１に有る車両１２が表示されている。各道路標識は、この図には表示されていない。駐車ゾーン１３が破線により表示されている。本発明では、モニター上の図示は、カラーで、例えば、利用可能な駐車ゾーン１３に対して緑色のマーキングにより行なうことができる。それに対して、斜線で示した領域１４は停車禁止ゾーン１４である。それは例えば赤色で相応のモニターに表示することができる。これらの駐車ゾーン１３及び停車禁止ゾーン１４は、ＫＭＬデータファイルの属性であり、可視化形態において本来のパノラマ画像（衛星画像）４に重ね合わされる。それによって、ユーザにとって馴染みのパノラマ画像の眺めが得られ、そのパノラマ画像では然るべき駐車ゾーン１３又は停車禁止ゾーン１４がはっきり認識できる。この表示はヒストリカルデータを使用しているので、この場合には、現に存在する駐車場であることは推定できない。

ここで、図３には、本発明による少なくとも一つの街路において駐車ゾーンを自動的に認識するシステム１が模式図の形で図示されている。このシステム１は、少なくとも一つの計算ユニット２を有する。そのような計算ユニットは、パーソナルコンピュータ（ＰＣ）、ラップトップ、ノートブック、スマートフォン、タブレット又はタブレットコンピュータ及びそれらの同等物とすることができる。この計算ユニット２は、リモート接続部を介して、別の端末機器と接続することもできる。そのようなリモート接続部は、インターネットアプリケーション又はクラウドベースの計算システムとすることができる。

ここで、この計算ユニット２は、更に、結果を保存することが可能な内部データベース８を有する。この内部データベース８は、読み込んだ画像４及び地図データ６を保存するためにも用いられて、これらのデータを、更なる計算及び分析のために画像認識ソフトウェア９又はそのソフトウェアを収めたモジュールに提供するようにしてもよい。

計算ユニット２は、インタフェース７を用いてパノラマ画像４を有する外部メモリ３及び街路データ６を有する地図データベース５にアクセスする。このインタフェース７は、計算ユニット２との接続が任意の周知のデータ伝送路を介して行われるように構成される。そのようなデータ伝送路は、例えば、ＬＡＮ又はＷＬＡＮデータ網、インターネット接続又は無線接続である。

更に、このシステム１は、利用可能な駐車ゾーン１３に関する情報を出力するための端末機器１０を更に有する。これらの端末機器１０と計算ユニット２の間の接続部も、既にインタフェース７に関して述べた通りに構成される。端末機器１０としては、システム１により生成された情報の視覚的な表示に適したモニター又はスクリーンを備えた装置が使用される。この場合、ラップトップ、ノートブック、スマートフォン、タブレット及びタブレットコンピュータが有利である。

当然のことながら、この計算ユニット２は、本発明によるコンピュータプログラム製品に収められたコンピュータプログラムを実行するための装置も有する。このコンピュータプログラムを用いて、本発明による方法を計算ユニット２で実施して、その結果を端末機器１０に出力する。

当然のことながら、本発明では、この可視化は、乗用車又はそれ以外の車両のデータシステムのモニターによっても実現することができる。多くの車両には、例えば、車両パラメータの検出及びナビゲーションのために使用されるデータシステム及び計算機が存在する。そのような車両計算機システムでは、本発明によるコンピュータプログラム製品を用いて、本発明による方法を実施して、例えば、車載ナビゲーション機器のスクリーンに情報を表示することができる。

１ システム
２ 計算ユニット
３ 外部データメモリ
４ パノラマ画像
５ 地図データベース
６ 街路データ
７ インタフェース
８ 内部データベース
９ 画像認識ソフトウェア
１０ 端末機器
１１ 街路
１２ 車両
１３ 駐車ゾーン
１４ 停車禁止ゾーン

Claims (9)

1. 少なくとも一つの選択された街路において駐車ゾーンを自動的に認識する方法であって、
   ａ）計算ユニットを準備し、
   ｂ）衛星撮影画像又はトラッキングショットにより生成された画像がパノラマ画像として外部データメモリに保存され、前記計算ユニットにより、前記外部データメモリから、前記少なくとも一つの選択された街路のパノラマ画像の形態のヒストリカルな情報を読み込み、
   ｃ）前記計算ユニットにより、地図データベースから、前記少なくとも一つの選択された街路の街路データの形態の情報を読み込み、当該街路データの形態の情報を、前記読み込んだパノラマ画像に統合し、
   ｄ）前記読み込んだパノラマ画像を保持する内部データベースを前記計算ユニット内に作成し、
   前記計算ユニットを用いて、
   ｅ）車両の存在に関して、前記読み込んだパノラマ画像を分析し、当該パノラマ画像をセグメント化することにより車両認識の分析を実施し、前記パノラマ画像のセグメント内の車両の数を特定し、
   ｆ）道路標識及び交通標識の存在に関して、前記読み込んだパノラマ画像を分析し、
   ｇ）前記少なくとも一つの選択された街路に関する車両の存在と道路標識及び交通標識の存在の分析から、認識された道路標識及び交通標識の周囲における前記パノラマ画像のセグメント内の車両の数が、事前に定義された限界値を下回った場合、駐車禁止／停車禁止ゾーンが認識され、駐車禁止／停車禁止ゾーンとして認識されたセグメントに基づいて、存在すると期待される駐車禁止／停車禁止ゾーンを特定し、
   ｈ）認識された車両、道路標識に関して特定された情報と、駐車禁止ゾーン／停車禁止ゾーン及び駐車ゾーンのマーキングとを含むデータセットを作成して保存し、
   ｉ）このデータセットに含まれる情報を端末機器で可視化し、前記少なくとも一つの選択された街路において駐車ゾーンが利用できるのか、さらにはどの範囲で利用できるのかを乗用車のユーザに通知する、
   方法。
2. 前記パノラマ画像が、そのパノラマ画像の地理的位置、走行方向、街路名及びデプスマップの中の一つ以上に関する情報を有し、これらの情報がヒストリカルデータであることを特徴とする請求項１に記載の方法。
3. 前記ｃ）で読み込まれる街路データが街路の車線及び／又は街路の類型に関する情報を有することを特徴とする請求項１に記載の方法。
4. 前記パノラマ画像及び街路データの形態の情報の伝送が、内部データベース、外部データメモリ及び地図データベースの中の一つ以上と通信接続された計算ユニットのインタフェースを用いて実施されることを特徴とする請求項１から３までのいずれか一つに記載の方法。
5. 前記工程ｆ）において、交通標識及び道路標識の分析が道路標識の形状及び彩色を認識することにより実施されることを特徴とする請求項１に記載の方法。
6. 前記分析が画像認識ソフトウェアを用いて実施されることを特徴とする請求項１から５のいずれか一つに記載の方法。
7. 前記工程ｉ）において、データセットに含まれる情報が、その情報を端末機器の別個のディスプレイ上に表示することによって可視化されることを特徴とする請求項１に記載の方法。
8. コンピュータプログラム製品であって、
   計算ユニットの内部メモリに直接ロードすることが可能であり、このコンピュータプログラム製品を計算ユニットで実行した場合に、請求項１から７までのいずれか一つに記載の方法の工程を実施するように実行可能であるソフトウェアコード又はその一部を有する、
   コンピュータプログラム製品。
9. 請求項１から７のいずれか一つに記載の方法を実施するための、少なくとも一つの選択された街路において駐車ゾーンを自動的に認識するシステム（１）であって、
   ａ）少なくとも一つの計算ユニット（２）、
   ｂ）パノラマ画像（４）として、衛星撮影画像又はトラッキングショットにより生成された画像を保存する少なくとも一つの外部データメモリ（３）、
   ｃ）街路データ（６）を有する少なくとも一つの地図データデース（５）、
   ｄ）前記計算ユニット（２）内の少なくとも一つの内部データベース（８）、
   ｅ）存在する車両と存在する停車禁止ゾーン及び交通標識を分析するための少なくとも一つの前記計算ユニット（２）内の画像認識ソフトウェア（９）、及び
   ｆ）情報を可視化するための少なくとも一つの端末機器（１０）、
   を備え、
   前記計算ユニット（２）は、
   前記外部データメモリから、前記少なくとも一つの選択された街路のパノラマ画像の形態のヒストリカルな情報を読み込み、
   地図データベースから、前記少なくとも一つの選択された街路の街路データの形態の情報を読み込み、当該街路データの形態の情報を、前記読み込んだパノラマ画像に統合し、
   前記読み込んだパノラマ画像を前記内部データベースに保持し、
   車両の存在に関して、前記読み込んだパノラマ画像を分析し、当該パノラマ画像をセグメント化することにより車両認識の分析を実施し、前記パノラマ画像のセグメント内の車両の数を特定し、
   道路標識及び交通標識の存在に関して、前記読み込んだパノラマ画像を分析し、
   前記少なくとも一つの選択された街路に関する車両の存在と道路標識及び交通標識の存在の分析から、認識された道路標識及び交通標識の周囲における前記パノラマ画像のセグメント内の車両の数が、事前に定義された限界値を下回った場合、駐車禁止／停車禁止ゾーンが認識され、駐車禁止／停車禁止ゾーンとして認識されたセグメントに基づいて、存在すると期待される駐車禁止／停車禁止ゾーンを特定し、
   認識された車両、道路標識に関して特定された情報と、駐車禁止ゾーン／停車禁止ゾーン及び駐車ゾーンのマーキングとを含むデータセットを作成して保存し、
   このデータセットに含まれる情報を端末機器で可視化し、前記少なくとも一つの選択された街路において駐車ゾーンが利用できるのか、さらにはどの範囲で利用できるのかを乗用車のユーザに通知する、
   システム。

Images