JP6916975B2 - 標識位置特定システム及びプログラム - Google Patents

Description

本発明は、撮像装置により撮影された画像に基づいて標識の位置を特定する標識位置特定システムに関する。

近年、日本を含む世界の主要自動車メーカーが、自動運転システムを搭載した車両の発表や発売を活性化させつつある。自動運転システムの実用化に向けて、道路環境や道路インフラ設備の管理、整備が重要になってくる。特に、道路標識については、自動運転する際に重要な情報となるため、各自治体では標識の種別や位置のデータベース化およびインフラ設備の整備を推し進める動きが活発化している。

このような道路標識をデータベース化するための情報収集には、人手による現地での現物確認が主な方法である。しかしながら、昨今の人手不足からこのような方法は非効率であるとともに、情報収集には相当の時間を要し、費用としても高額になりがちである。

道路標識のデータベース化に関し、従前より種々の発明が提案されている。例えば、特許文献１には、標識の認識とその位置を測量計算する機能とを、対話型認識編集システムのメニューから起動できるように構成し、認識処理を編集の前に実施してその標識候補の評価をアイコンの大きさで地図上に表示する発明が開示されている。また、特許文献２には、画像処理装置が、物体およびその位置を示す物体情報が付加される地図情報と、画像内の物体を識別するための複数の異なる識別器を記憶し、対象画像内における物体を検出し、対象画像を撮影した位置である撮影位置と地図情報に付加された物体情報とに基づいていずれかの識別器を選択し、選択した識別器を用いて検出した物体を認識する発明が開示されている。

特開２００８−２８７３７９号公報 特開２０１８−９７７３８号公報

従来の人手による標識情報の収集では、例えば、標識の種別については目視確認で識別可能であるが、標識の位置（緯度及び経度）については、標識の設置場所に居る状態でＧＰＳ（Global Positioning System）機器等を活用して位置情報を取得する必要があった。また、標識の種別や補助標識の内容などは、仮に情報入力ツールを準備していたとしても、ある程度の手作業による入力をせざるを得なかった。このように、人手による標識情報の収集の作業効率化には限界があり、大幅な改善は期待できない。

本発明は、上記のような従来の事情に鑑みて為されたものであり、標識の設置位置を自動的に特定して標識情報を収集することが可能な標識位置特定システムを提供することを目的とする。

上記目的を達成するために、本発明では、標識位置特定システムを以下のように構成した。
すなわち、移動体に搭載された撮像装置と、移動体の位置を測位する測位装置と、前記撮像装置により撮影された画像を処理する画像処理装置とを備えた標識位置特定システムにおいて、前記画像処理装置は、前記画像から標識を検出する標識検出部と、前記標識検出部により前記画像から標識が検出された場合に、前記撮像装置の画角と、前記画像の解像度と、前記画像内の標識の位置及びサイズと、実際の標識のサイズとに基づいて、前記撮像装置の光軸方向における前記移動体から前記標識までの第１距離と、前記撮像装置の光軸方向に直交する方向における前記移動体から前記標識までの第２距離を計算する距離計算部と、前記画像の撮影時の前記移動体の移動方向及び位置と、前記距離計算部により計算された前記第１距離及び前記第２距離とに基づいて、前記標識の設置位置を推定する標識位置推定部とを備えたことを特徴とする。

このような構成によれば、移動体の走行中に撮影された画像に基づいて、画像に映された標識の実際の設置位置を推定することができる。したがって、標識情報の収集対象となるエリアを移動体で走行し、その際に撮影された画像を処理するだけで、標識の設置位置を自動的に特定して標識情報を収集することが可能となる。

なお、前記移動体の移動方向に対する前記撮像装置の光軸方向のズレ量に基づいて前記標識の設置位置を推定してもよい。
ここで、前記画像内の標識のサイズ及び実際の標識のサイズとして、標識の横幅又は縦幅を用いる構成としてもよい。この場合において、前記画像内の標識の横幅の方が縦幅より長い場合には、前記画像内の標識のサイズ及び実際の標識のサイズとして、標識の横幅を使用し、前記画像内の標識の縦幅の方が横幅より長い場合には、前記画像内の標識のサイズ及び実際の標識のサイズとして、標識の縦幅を使用する構成としてもよい。

また、前記標識には複数の寸法のものがあるので、寸法の特定を行うようにしてもよい。具体的には、道路の種別に応じて標識の寸法を特定する構成としてもよい。または、道路と標識の位置関係に応じて標識の寸法を特定する構成としてもよい。または、車両の走行に伴う画像内の標識サイズの変化量に応じて標識の寸法を特定する構成としてもよい。

また、前記画像処理装置は、同一の標識を撮影した複数枚の画像のそれぞれについて前記標識位置推定部により推定された前記標識の設置位置を１地点に集約する標識位置集約部を、更に備えた構成としてもよい。

本発明によれば、標識の設置位置を自動的に特定して標識情報を収集することが可能な標識位置特定システムを提供することができる。

本発明の一実施形態に係る標識登録システムの概略的な構成例を示す図である。 図１の標識登録システムにおける撮像装置及びＧＰＳ受信機の構成例を示す図である。 図１の標識登録システムにおける画像処理装置の構成例を示す図である。 図１の標識登録システムによる標識登録処理のフローチャート例を示す図である。 標識の検出結果の表示例を示す図である。 標識の形状、色彩、寸法について説明する図である。 標識情報を地図上にプロットした例を示す図である。 車両から標識までの距離の計算及び標識の設置位置の推定の方法について説明する図である。 車両と標識の位置関係について説明する図である。 車両の進行方向と撮像装置の光軸方向とをズラした例を示す図である。

本発明の一実施形態について、図面を参照して説明する。
図１には、本発明に係る標識位置特定システムの一実施形態である標識登録システムの概略的な構成を例示してある。本例の標識登録システムは、撮像装置１００と、ＧＰＳ受信機２００と、画像処理装置３００と、記録装置４００と、操作端末５００とを備えている。本例では、これら全てを車両に搭載しているが、撮像装置１００とＧＰＳ受信機２００を除いて、必ずしも車両に搭載する必要はない。撮像装置１００は、本発明に係る撮像装置に対応し、ＧＰＳ受信機２００は、本発明に係る測位装置に対応し、画像処理装置３００は、本発明に係る画像処理装置に対応している。

撮像装置１００は、道路に沿って設置された標識の撮影を行う装置であり、車両に搭載される。撮像装置１００は、ドライブレコーダーのような車内設置型でもよいし、ＭＭＳ（Mobile Mapping System）に代表される車外設置型でもよい。撮像装置１００としては、水平画角が広いものがよく、解像度も高いものがよく、またフレームレートも高いものがよい。本例では、車両の前方方向を撮影する前方カメラを車両に搭載しているが、他の方向を撮影するカメラを追加しても構わない。

ＧＰＳ受信機２００は、ＧＰＳ衛星からの電波に基づいて位置（緯度及び経度）を測位する装置であり、車両に搭載される。ＧＰＳ受信機２００は、撮像装置１００に内蔵されてもよいし、撮像装置１００とは別装置として構成されてもよい。また、ＧＰＳ受信機２００に代えて、他の方式で測位を行う測位装置を用いても構わない。

画像処理装置３００は、撮像装置１００により撮影される映像データを処理する装置である。画像処理装置３００は、撮像装置１００からリアルタイムに得られる映像データを処理してもよいし、事前に撮影されて記録装置４００に記録されている映像データを処理してもよい。画像処理装置３００は、入力された映像データを順次解析し、標識の検出結果を出力する。検出結果は、ＣＳＶ（Comma-Separated Values）等の形式のログとして書き出されるとともに、映像データにも重畳される。検出結果の情報は、例えば、画像上の標識の検出位置の座標、画像上の標識のサイズ（縦幅及び横幅）、標識の種別、標識検出の信頼度、車両（正確には撮像装置１００）から標識までの距離、画像の撮影日時、撮影時の車両位置（緯度及び経度）などがある。また画像処理装置３００は、後述するように、複数の検出結果を集約して標識情報を生成し、マップ上の該当位置にプロットする処理なども行う。

記録装置４００は、撮像装置１００により撮影された画像や画像処理装置３００による処理結果などを含む各種のデータを記憶する装置である。記録装置４００は、画像処理装置３００や操作端末５００などを含む外部装置からの要求に応じて、該当するデータを提供する。

操作端末５００は、本システムを使用するオペレータにより操作される端末である。操作端末５００は、据置型の装置であってもよく、スマートホンやタブレット端末などの携帯可能な装置であってもよく、種々の装置を使用することができる。操作端末５００は、撮像装置１００により撮影された画像や画像処理装置３００による処理結果などを含む各種の情報を表示することができる。また、操作端末５００は、タッチパネル、キーボード、マウスなどの入力機器を通じて各種の指示をユーザから受け付けることができる。

図２には、撮像装置１００及びＧＰＳ受信機２００の構成例を示してある。
撮像装置１００は、映像撮像部１０１と、画像品質調整部１０２と、画像フレーム内位置情報合成部１０３と、映像出力部１０４とを備えている。ＧＰＳ受信機２００は、ＧＰＳ受信部２０１と、ＧＰＳ情報生成部２０２とを備えている。

ＧＰＳ受信機２００において、ＧＰＳ受信部２０１は、ＧＰＳ衛星から受信された電波を受信する。ＧＰＳ情報生成部２０２は、ＧＰＳ受信部２０１により受信された電波に基づいて車両の位置（正確にはＧＰＳ受信機２００のアンテナの位置）を測位し、測位結果の位置を示すＧＰＳ情報を生成して出力する。

撮像装置１００において、映像撮像部１０１は、車両の走行中に車両の前方方向を撮影する。画像品質調整部１０２は、映像撮像部１０１により得られた映像データの画像品質を調整する。画像フレーム内位置情報合成部１０３は、画像品質調整部１０２により品質調整された映像データに対し、ＧＰＳ受信機２００から入力されたＧＰＳ情報を各フレームの画像に付加する処理を施して、映像出力部１０４に出力する。ＧＰＳ情報は、フレーム毎に更新することが好ましいが、一定数のフレーム毎（例えば、５フレーム毎）に更新しても構わない。映像出力部１０４は、ＧＰＳ情報が付加された映像データを出力する。映像データとしては、ｍｐ３、ａｖｉ、Ｈ．２６４など、種々のタイプのものを使用することができる。

図３には、画像処理装置３００の構成例を示してある。
画像処理装置３００は、映像受信部３０１と、映像分解部３０２と、標識検出部３０３と、標識識別部３０４と、補助標識検出部３０５と、補助標識識別部３０６と、標識距離計算部３０７と、ＧＰＳ情報抜き出し部３０８と、標識位置推定部３０９と、標識情報集約部３１０と、地図プロット部３１１とを備えている。

画像処理装置３００において、映像受信部３０１は、撮像装置１００から出力される映像データを受信する。映像分解部３０２は、映像受信部３０１で受信された映像データを各フレームの画像（例えば、ＪＰＥＧ画像）に分解し、標識検出部３０３及びＧＰＳ情報抜き出し部３０８に出力する。標識検出部３０３は、映像分解部３０２から入力された画像に対して標識の検出処理を行う。標識識別部３０４は、標識検出部３０３で検出された標識の種別を識別する。補助標識検出部３０５は、標識検出部３０３で検出された標識に付随する補助標識の検出処理を行う。補助標識識別部３０６は、補助標識検出部３０５で検出された補助標識の種別を識別する。

標識検出部３０３、標識識別部３０４、補助標識検出部３０５、補助標識識別部３０６は、事前に学習させたモデルを活用するＡＩ（Artificial Intelligence）により実現してもよい。例えば、ＣＮＮ（Convolutional Neural Network；畳み込みニューラルネットワーク）に代表される画像認識処理を用いた深層学習（ディープラーニング）により推論モデルを生成し、標識／補助標識の検出／識別に用いてもよい。なお、補助標識については、定型部分の内容を学習させるだけでもよい。

標識距離計算部３０７は、車両から標識検出部３０３で検出された標識までの距離を計算する。ＧＰＳ情報抜き出し部３０８は、映像分解部３０２から入力された画像からＧＰＳ情報を抜き出す。標識位置推定部３０９は、標識距離計算部３０７で計算された距離と、ＧＰＳ情報抜き出し部３０８で得られたＧＰＳ情報（車両の位置）とを用いて、標識検出部３０３で検出された標識の設置位置を推定する。

ここで、車両が標識に近づいて通り過ぎるまでに複数フレームの画像が得られるので、１つの標識に関して複数の検出結果が得られることになる。そこで、標識情報集約部３１０は、標識の種別、標識までの距離などを元にして、複数フレームの画像について標識を追跡する。そして、同一の標識について上記の各処理部３０３〜３０９によって得られた複数の検出結果を集約し、標識情報を生成する。標識情報には、標識の種別（及び補助標識の種別）と、その標識の設置位置として最も確からしい１地点の位置情報とが含まれる。地図プロット部３１１は、標識情報集約部３１０で生成された標識情報を地図上にプロットする。

本例の標識認識システムによる標識登録処理の手順について、図４に示すフローチャートを用いて説明する。
まず、撮像装置１００及びＧＰＳ受信機２００を車両に正しく設置する。また、撮像装置１００の映像が正しい画角に収まっていることを事前に確認しておく。撮像装置１００は、車両のエンジンの起動に連動して起動してもよいし、手動で起動してもよい。また、ＧＰＳ受信機２００の動作を確認（ステップＳ１００，Ｓ１０２）し、ＧＰＳ衛星からの電波を正しく受信できている場合に、車両の走行を開始する（ステップＳ１０４）。

車両の走行中、撮像装置１００によって車両の前方方向の撮影が行われる。このとき、撮像装置１００に連動したＧＰＳ受信機２００が、撮像装置１００の撮影タイミングと同期して動作し、ＧＰＳ情報を生成して撮像装置１００に出力する。撮像装置１００は、撮影した映像にＧＰＳ情報を付加し、記録装置４００に出力して記録させる（ステップＳ１０６）。

撮像装置１００から出力される映像データは画像処理装置３００にも入力され、画像処理装置３００で以下の処理がリアルタイムに行われる。なお、走行の終了後に、画像処理装置３００が記録装置４００から映像データを読み出して、以下の処理を行うようにしてもよい。

まず、映像分解部３０２で、映像受信部３０１により受信された映像データが各フレームの画像に分解される。
次いで、標識検出部３０３で、映像分解部３０２により映像データから分解された各フレームの画像に対し、標識の検出処理が行われる（ステップＳ１０８）。標識の検出処理では、画像から標識の可能性がある画像領域を検出すると共に検出結果の信頼度を算出し、信頼度が所定の閾値以上か否かを判定する（ステップＳ１１０）。そして、信頼度が閾値以上の場合に、その画像領域に映されているものが標識であると判断する。これは、標識の誤検出をなるべく少なくするためである。図５には、標識の検出結果の表示例を示してある。同図では、駐車禁止の標識が検出されたことを示す文字列「ｎｏ＿ｐａｒｋｉｎｇ」と、検出結果の信頼度を示す数値「７８％」が、画像内の標識と判断された画像領域の付近に重畳して表示されている。

標識検出部３０３により画像から標識が検出されると、標識識別部３０４で、標識の種別の識別処理が行われる（ステップＳ１１２）。図６に示すように、標識の種別に応じて標識の形状、色彩、図柄などが異なるので、画像から検出した標識の形状、色彩、図柄などを解析することで、標識の種別を識別することができる。

また更に、補助標識検出部３０５で、標識に付随する補助標識の検出処理が行われる（ステップＳ１１４）。補助標識の検出処理は、標識の上部又は下部の画像領域に着目して行われる。補助標識は必ず標識とセットで設置されるので、標識を検出できた後に領域を絞って検出処理を行うことで、補助標識の検出精度の向上を図ることができる。

補助標識検出部３０５により補助標識が検出されると、補助標識識別部３０６で、補助標識の識別処理も行われる。補助標識は、図柄、定型の文字列もしくは任意の文字列で構成されている。図柄及び定型の文字列については、予め学習させたモデルを活用してＡＩにて識別することができる。また、任意の文字列については、補助標識の領域に対してＯＣＲ（Optical Character Reader）処理を行い、文字列の内容を認識すればよい。

次いで、標識距離計算部３０７で、車両から標識検出部３０３で検出された標識までの距離が計算される（ステップＳ１１６）。また、標識位置推定部３０９で、標識の設置位置が推定される（ステップＳ１１８）。標識までの距離の計算及び標識の設置位置の推定の詳細については後述する。

次いで、標識情報集約部３１０で、同一の標識について得られた複数の設置位置を集約して、その標識の設置位置として最も確からしい１地点の位置を特定し、標識の種別（及び補助標識の種別）と１地点に集約した位置情報とを含む標識情報が生成される（ステップＳ１２０）。

複数の設置位置を集約する処理は、例えば、複数の設置位置の単純平均を取る手法により行うことができる。また、距離に応じて重み付け（距離が近いほど大きい値を乗算）したものを平均する手法、標識検出の信頼度に応じた重み付け（信頼度が高いほど大きい値を乗算）したものを平均する手法、距離が近い順や信頼度が高い順に選び出したものを平均する手法、これらの組み合わせなど、種々の手法により行うことができる。
なお、複数の設置位置を集約する際に、地図情報に基づいて、明らかに異常な設置位置を除外してもよい。明らかに異常な設置位置としては、例えば、標識の設置位置が建物上の場合、標識の設置位置が道路上の場合（拡大寸法の標識は除く）が挙げられる。

また、車速が一定して安定した走行をしている場合には、緯度・経度・方向などのＧＰＳ情報をマッピングすることで、軌跡を描くように車両の走行ルートを表現できる。しかしながら、曲がる場合などのように車両の速度が低下するに伴って、実際にはＧＰＳ情報と車両の位置とがずれやすくなる傾向にある。さらに、一定のフレームレートで撮影している一方で、車両は低速になっていく。例えば、ある標識を撮像装置が捉えている場合、当該標識の画面上の位置があまり移動しない一方、当該標識が画面に映りこむ時間が長くなる。すると、突然これまでの走行方向とは逆方向に標識が位置するといった誤推定や、ＧＰＳの方向のずれによる誤推定が発生しやすくなる。特にＧＰＳ情報の更新間隔が長い場合、車両の方向が変わるシーンでの誤推定はより発生しやすくなる。

そこで、標識情報集約部３１０は、特に車両の速度が低下することを検知した場合には、車両が曲がることや停止することを想定し、フレーム単位で位置を算出するのではなく、ある程度蓄積した映像データの画像フレームとＧＰＳ情報を活用して、ＧＰＳ情報の信頼性を検証する。つまり、標識情報集約部３１０は、蓄積したＧＰＳ情報から、明らかに位置が逸脱しているタイミングのＧＰＳ情報を省いた状態で位置推定処理を行うようにする。換言すると、標識情報集約部３１０は、ＧＰＳ情報が車両の走行ルートから明らかに逸脱した位置を示している際に標識位置推定部３０９によって算出された標識の位置情報は除外する。なお、位置の逸脱は、時間軸と方向から追跡した場合、位置が逆転しているパターンや、方向が例えば１８０度異なるパターンなどがある。

次いで、地図プロット部３１１で、標識情報集約部３１０で生成された標識情報が地図上にプロットされる（ステップＳ１２２）。図７には、標識情報を地図上にプロットした例を示してある。同図では、１地点に特定した標識の設置位置を▼印で地図上にプロットしてある。また、参考として、その標識について得られた他の推定位置を▽印で地図上にプロットしてある。
以上により、地図をベースにした標識データベースを作成することができる。

車両から標識までの距離の計算及び標識の設置位置の推定の方法について、図８、図９を参照して説明する。なお、図６に示すように、同一の標識でも異なる寸法（例えば、倍率２／３、１．０、１．５、２．０）のものが存在しているので、標識を検出した際にその寸法も特定する必要がある。ここでは、標準寸法の標識が検出された場合を例にして説明し、標識の寸法の特定の方法については後述する。また、撮像装置１００は、その光軸方向を車両の進行方向に一致させてあるものとする（すなわち、車両の移動方向に対する撮像装置１００の光軸方向のズレ量が０度）。

車両の位置をＰ₁ 、標識の位置をＰ₂ 、車両の進行方向に延びる直線（撮像装置１００の光軸）をＬ₁ 、直線Ｌ₁ に直交して標識の位置Ｐ₂ を通る直線をＬ₂ 、直線Ｌ₁ と直線Ｌ₂ との交点をＰ₃ とする（図９参照）。また、画像は、左上を原点Ｏ（０，０）とし、横方向の軸をＸ軸、縦方向の軸をＹ軸とする（図８参照）。

ここで、画像の水平解像度をＨ［ｐｉｘ］、画像内の標識の横幅をｗ［ｐｉｘ］、実際の標識の横幅をＷ［ｍ］とすると、標識の設置位置における水平方向の撮影範囲長Ｄ_H ［ｍ］（すなわち、撮影できる直線Ｌ₂ の長さ）は、下記（式１）により算出することができる。
Ｄ_H ＝Ｈ×Ｗ／ｗ ・・・（式１）

また、撮像装置の水平画角をθ［°］とすると、車両の位置Ｐ₁ から交点Ｐ₃ までの距離（すなわち、撮像装置１００の光軸方向における車両から標識までの距離）Ｄ₁ は、下記（式２）により算出することができる。
Ｄ₁ ＝（Ｄ_H ／２）／ｔａｎ（θ／２） ・・・（式２）

また、画像内の標識の中心座標を（ｘ，ｙ）、すなわち、標識中心の横方向の座標をｘとすると、画像の縦方向の中心線Ｃ（直線Ｌ₁ に一致する）から標識中心までの距離ｄは、下記（式３）により算出することができる。
ｄ＝Ｈ／２−ｘ ・・・（式３）
そして、交点Ｐ₃ から標識の位置Ｐ₂ までの距離（すなわち、撮像装置１００の光軸方向に直交する方向における車両から標識までの距離）Ｄ₂ は、下記（式４）により算出することができる。
Ｄ₂ ＝Ｄ_H×ｄ／Ｈ ・・・（式４）

したがって、車両から標識までの直線方向の距離Ｄ₃ は、下記（式５）により算出することができる。
Ｄ₃ ＝√（Ｄ_A ²＋Ｄ_B ²） ・・・（式５）

例えば、撮像装置の水平画角θ＝１００［°］、画像の水平解像度Ｈ＝１９２０［ｐｉｘ］、画像内の標識中心の横方向の座標ｘ＝７２４［ｐｉｘ］、画像内の標識の横幅ｗ＝３２［ｐｉｘ］、実際の標識の横幅Ｗ＝０．６［ｍ］とすると、Ｄ₁ ≒１６．４［ｍ］、Ｄ₂ ≒４．５［ｍ］となり、Ｄ₃ ≒１７．０［ｍ］となる。したがって、標識の位置Ｐ₂ は、車両の位置Ｐ₁ から車両の進行方向に１６．４ｍ、左方向に４．５ｍの位置にあると推定できる。

このように、撮像装置の水平画角θと、画像の水平解像度Ｈと、画像内の標識中心の横方向の座標ｘと、画像内の標識の横幅ｗと、実際の標識の横幅Ｗとに基づいて、車両の位置Ｐ₁ から交点Ｐ₃ までの距離Ｄ₁ と、交点Ｐ₃ から標識の位置Ｐ₂ までの距離Ｄ₂ と、車両の位置Ｐ₁ から標識の位置Ｐ₂ までの直線方向の距離Ｄ₃ を算出することができる。また、車両の位置Ｐ₁ を、車両の進行方向に一致する撮像装置１００の光軸方向（直線Ｌ₁ の方向）に距離Ｄ₁ 分だけシフトさせ、更に、前記光軸方向に直交する方向（直線Ｌ₂ の方向）に距離Ｄ₂ 分だけシフトさせることで、標識の位置Ｐ₂ を得ることができる。あるいは、車両の位置Ｐ₁ を、前記光軸方向に対してα度を傾けた方向に距離Ｄ₃ 分だけシフトさせることによっても、標識の位置Ｐ₂ を得ることができる。

ここで、上記の説明では、車両の進行方向と撮像装置１００の光軸方向とを一致させた構成となっているが、図１０に例示するように、車両の進行方向と撮像装置１００の光軸方向とをズラした構成とすることもできる。この場合には、例えば、車両の移動方向Ａ₁ に対する撮像装置１００の光軸方向Ａ₂ のズレ量（＝β度）を予め測定して保持しておき、上記で算出した標識の位置Ｐ₂ を、車両の位置Ｐ₁ を中心にしてβ度回転させる座標回転により補正すればよい。

また、上記の説明では、標識の横幅を使用して距離の算出を行っているが、標識のサイズを表す他の要素（例えば、縦幅）を使用して距離の算出を行っても構わない。一例として、標識の縦幅を使用する場合には、上記（式１）における横幅ｗ及びＷを、画像内の標識の縦幅と実際の標識の縦幅に置き換えて計算すればよい。

また、標識の設置態様によっては画像に映った標識の横幅と縦幅が大きく異なることがあるが、この場合は、標識の横幅と縦幅のうちの長い方を使用して計算することで、より正確に距離の算出を行うことができる。なお、標識の横幅と縦幅は、基本的には単純に比較すればよいが、標識の形状が五角形のもの（横断歩道を表す標識など）については、上側の三角部分について横幅と縦幅の比較を行えばよい。

次に、標識の寸法の特定の方法について幾つか説明する。
（１）道路の種別による特定
標識の寸法は、道路の種別（道路の設計速度や車線数など）に応じて決定されることが多い。したがって、道路の種別が分かれば、標識の寸法をある程度特定することが可能である。そこで、標識距離計算部３０７は、道路の種別が紐づけられた道路データを持つ地図データベースを利用して、標識の寸法を特定するようにしてもよい。この場合、標識距離計算部３０７は道路の種別と標識の寸法との対応テーブルを予め保持する。または、標識距離計算部３０７は、道路の車線数を画像解析により特定し、車線数に応じて標識の寸法を特定するようにしてもよい。この場合、標識距離計算部３０７は車線数と標識の寸法との対応テーブルを予め保持する。

（２）道路と標識の位置関係による特定
車線数が少ない道路の場合は、道路の左側に標準寸法の標識が設置されるが、車線数が多い道路の場合は、道路の上に拡大寸法（主に１．５倍）の標識が設置されることが多い。したがって、道路と標識の位置関係が分かれば、標識の寸法をある程度特定することが可能である。そこで、標識距離計算部３０７は、画像内での標識の位置が画像左側の場合は、標準寸法の標識であると判断し、画像内での標識の位置が画像中央の場合は、拡大寸法の標識であると判断するようにしてもよい。ただし、標識が車両から遠い場合は画像中央に標識が位置するので、標識がある程度大きく映った画像（好ましくは、標識が最も大きく映った画像）を用いて、標識と道路の位置関係を判断する必要がある。または、映像データにおける標識の軌跡を分析し、標識が画像の左方向に向かって移動する軌跡を描く場合は、標準寸法の標識であると判断し、標識が画像の上方向に向かって移動する軌跡を描く場合は、拡大寸法の標識であると判断してもよい。

（３）車両の走行に伴う画像内の標識サイズの変化量による特定
車両の走行に伴って画像内の標識サイズが次第に増加していくが、その変化量（増加量）は標識の寸法に応じて異なる。すなわち、標識が最初に検出された時点での車両と標識の距離は、標準寸法の標識よりも拡大寸法の標識の方が大きい（つまり、拡大寸法の標識の方がより遠くで検出される）が、その後の画像内の標識サイズの変化量は、拡大寸法の標識よりも標準寸法の標識の方が大きい。そこで、システム運用前に、車両の走行に伴う画像内の標識サイズの変化量を標識の寸法毎に測定してデータ化しておき、標識距離計算部３０７は、システム運用時に車両の走行中に得られた複数枚の画像に基づいて画像内の標識サイズの変化量を算出し、データ化しておいたものと照らし合わせることで、標識の寸法を特定するようにしてもよい。

なお、上述した標識の寸法の特定の方法は例示にすぎず、他の方法により標識の寸法を特定しても構わない。また、標識は、実際には標準寸法（倍率１．０倍）のものが過半数を占めているので、一律に標準寸法の標識とみなして処理しても、ある程度の精度で標識の設置位置を特定することが可能である。

以上説明したように、本例の標識登録システムは、車両に搭載された撮像装置１００と、車両の位置を測位するＧＰＳ受信機２００と、撮像装置１００により撮影された画像を処理する画像処理装置３００とを備えている。そして、本例の画像処理装置３００では、標識検出部３０３が、画像から標識を検出し、標識距離計算部３０７が、標識検出部３０３により画像から標識が検出された場合に、撮像装置１００の画角と、画像の解像度と、画像内の標識の位置及びサイズと、実際の標識のサイズとに基づいて、撮像装置１００の光軸方向における車両から標識までの距離Ｄ₁ と、撮像装置１００の光軸方向に直交する方向における車両から標識までの距離Ｄ₂ を計算し、標識位置推定部３０９が、車両の進行方向に対する撮像装置１００の光軸方向のズレ量と、画像の撮影時の車両の進行方向及び位置と、標識距離計算部３０７により計算された距離Ｄ₁ 及び距離Ｄ₂ とに基づいて、標識の設置位置を推定するように構成されている。

このような構成により、車両の走行中に撮影された画像に基づいて、画像に映された標識の実際の設置位置を推定することができる。したがって、標識情報の収集対象となるエリアを車両で走行し、その際に撮影された画像を処理するだけで、標識の設置位置を自動的に特定して標識情報を収集することが可能となる。

また、本例の画像処理装置３００では、標識情報集約部３１０が、同一の標識を撮影した複数枚の画像のそれぞれについて標識位置推定部３０９により推定された標識の設置位置を、１地点に集約するように構成されている。したがって、標識の設置位置を、より精度よく特定することが可能となる。

なお、本例の画像処理装置３００は、ＣＰＵ（Central Processing Unit）などのプロセッサやメモリを含むハードウェア資源を備えたコンピュータにより構成され、メモリに予め格納されたプログラムをプロセッサで実行することで、それぞれの機能が実現される構成となっている。すなわち、本発明に係る標識検出部、距離計算部、標識位置推定部、標識位置集約部の各機能に関するプログラムを実行することで、標識検出部３０３、標識距離計算部３０７、標識位置推定部３０９、標識情報集約部３１０を実現している。

ここで、上記の説明では、車両の前方側を撮影する前方カメラを用いて、車両の進行方向用に設置された標識を撮影しているが、車両の後方側を撮影する後方カメラを用いて、対向車線用に設置された標識を撮影し、標識を認識して位置特定するようにしてもよい。
また、上記の説明では、道路に沿って設置された標識（道路標識）を車両の走行中に撮影しているが、線路に沿って設置された標識（線路標識）を列車の走行中に撮影し、標識を認識して位置特定するようにしてもよい。

以上、本発明を標識登録システムに利用する場合を例にして説明したが、本発明はこのような例に限定されるものではなく、上記以外にも広く適用することができることは言うまでもない。
また、本発明は、例えば、本発明に係る処理を実行する方法や方式、そのような方法や方式をプロセッサやメモリ等のハードウェア資源を有するコンピュータにより実現するためのプログラム、そのプログラムを記憶する記憶媒体などとして提供することも可能である。

本発明は、撮像装置により撮影された画像に基づいて標識の位置を特定する標識位置特定システムに利用することができる。

１００：撮像装置、 ２００：ＧＰＳ受信機、 ３００：画像処理装置、 ４００：記録装置、 ５００：操作端末、
１０１：映像撮像部、 １０２：画像品質調整部、 １０３：画像フレーム内位置情報集約部、 １０４：映像出力部、
２０１：ＧＰＳ受信部、 ２０２：ＧＰＳ情報生成部、
３０１：映像受信部、 ３０２：映像分解部、 ３０３：標識検出部、 ３０４：標識識別部、 ３０５：補助標識検出部、 ３０６：補助標識識別部、 ３０７：標識距離計算部、 ３０８：ＧＰＳ情報抜き出し部、 ３０９：標識位置推定部、 ３１０：標識情報集約部、 ３１１：地図プロット部

Claims (9)

1. 移動体に搭載された撮像装置と、移動体の位置を測位する測位装置と、前記撮像装置により撮影された画像を処理する画像処理装置とを備えた標識位置特定システムにおいて、
   前記画像処理装置は、
   前記画像から標識を検出する標識検出部と、
   前記標識検出部により前記画像から標識が検出された場合に、前記撮像装置の画角と、前記画像の解像度と、前記画像内の標識の位置及びサイズと、実際の標識のサイズとに基づいて、前記撮像装置の光軸方向における前記移動体から前記標識までの第１距離と、前記撮像装置の光軸方向に直交する方向における前記移動体から前記標識までの第２距離を計算する距離計算部と、
   前記画像の撮影時の前記移動体の移動方向及び位置と、前記距離計算部により計算された前記第１距離及び前記第２距離とに基づいて、前記標識の設置位置を推定する標識位置推定部とを備えたことを特徴とする標識位置特定システム。
2. 請求項１に記載の標識位置特定システムにおいて、
   前記標識位置推定部は、前記移動体の移動方向に対する前記撮像装置の光軸方向のズレ量に基づいて、前記標識の設置位置を推定することを特徴とする標識位置特定システム。
3. 請求項１に記載の標識位置特定システムにおいて、
   前記画像内の標識のサイズ及び実際の標識のサイズとして、標識の横幅又は縦幅を用いることを特徴とする標識位置特定システム。
4. 請求項３に記載の標識位置特定システムにおいて、
   前記画像内の標識の横幅の方が縦幅より長い場合には、前記画像内の標識のサイズ及び実際の標識のサイズとして、標識の横幅を使用し、
   前記画像内の標識の縦幅の方が横幅より長い場合には、前記画像内の標識のサイズ及び実際の標識のサイズとして、標識の縦幅を使用することを特徴とする標識位置特定システム。
5. 請求項１に記載の標識位置特定システムにおいて、
   前記標識には複数の寸法のものがあり、
   道路の種別に応じて標識の寸法を特定することを特徴とする標識位置特定システム。
6. 請求項１に記載の標識位置特定システムにおいて、
   前記標識には複数の寸法のものがあり、
   道路と標識の位置関係に応じて標識の寸法を特定することを特徴とする標識位置特定システム。
7. 請求項１に記載の標識位置特定システムにおいて、
   前記標識には複数の寸法のものがあり、
   車両の走行に伴う画像内の標識サイズの変化量に応じて標識の寸法を特定することを特徴とする標識位置特定システム。
8. 請求項１に記載の標識位置特定システムにおいて、
   前記画像処理装置は、同一の標識を撮影した複数枚の画像のそれぞれについて前記標識位置推定部により推定された前記標識の設置位置を１地点に集約する標識位置集約部を、更に備えたことを特徴とする標識位置特定システム。
9. 移動体に搭載された撮像装置によって撮影された画像を処理するコンピュータに、
   前記画像から標識を検出する標識検出機能と、
   前記標識検出機能により前記画像から標識が検出された場合に、前記撮像装置の画角と、前記画像の解像度と、前記画像内の標識の位置及びサイズと、実際の標識のサイズとに基づいて、前記撮像装置の光軸方向における前記移動体から前記標識までの第１距離と、前記撮像装置の光軸方向に直交する方向における前記移動体から前記標識までの第２距離を計算する距離計算機能と、
   前記画像の撮影時の前記移動体の移動方向及び位置と、前記距離計算機能により計算された前記第１距離及び前記第２距離とに基づいて、前記標識の設置位置を推定する標識位置推定機能とを実現させるためのプログラム。

Images