JP6822797B2 - 標示ベースの位置測定 - Google Patents

標示ベースの位置測定 Download PDF

Info

Publication number
JP6822797B2
JP6822797B2 JP2016145373A JP2016145373A JP6822797B2 JP 6822797 B2 JP6822797 B2 JP 6822797B2 JP 2016145373 A JP2016145373 A JP 2016145373A JP 2016145373 A JP2016145373 A JP 2016145373A JP 6822797 B2 JP6822797 B2 JP 6822797B2
Authority
JP
Japan
Prior art keywords
candidate
candidates
component
points
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016145373A
Other languages
English (en)
Other versions
JP2017054494A (ja
JP2017054494A5 (ja
Inventor
彦 ▲陸▼
彦 ▲陸▼
アニケット ムラーカ
アニケット ムラーカ
希久雄 藤村
希久雄 藤村
アナン ランガナサン
アナン ランガナサン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JP2017054494A publication Critical patent/JP2017054494A/ja
Publication of JP2017054494A5 publication Critical patent/JP2017054494A5/ja
Application granted granted Critical
Publication of JP6822797B2 publication Critical patent/JP6822797B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/247Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Description

通常、全地球測位システム(GPS)は、乗り物の位置を判定するのに使用される。例えば、GPSは、多数のGPS衛星に基づいて位置を判定する、宇宙ベースの衛星航法システムを必要としてよい。しばしば、GPSは、乗り物からそれぞれのGPS衛星までの視野が遮られていない限り、動作可能である。GPSユニットは、エラーの蓄積または合成の結果、ドリフトを受けることがある。さらに、GPSは、GPS衛星までの視界が遮られていないことを必要とするので、悪天候状況、都市部、山岳地帯、または、他の閉塞は、乗り物の場所若しくは位置を判定するのに、または、乗り物の位置測定を実施する際にしばしば問題を提起する。
発明の概要
1つまたは複数の態様によれば、標示ベースの位置測定用のシステムは、乗り物に搭載されるセンサ構成要素、抽出構成要素、候補構成要素、通信構成要素、及び、位置測定構成要素を含んでよい。センサ構成要素は、乗り物周辺の動作環境の画像を取込んでよい。抽出構成要素は、画像から1つまたは複数のテキスト候補を抽出してよく、画像内の1つまたは複数の線分を検出してよく、また、テキスト候補の1つまたは複数、線分の1つまたは複数、及び、それぞれの線分の1つまたは複数の交点に基づいて、1つまたは複数の四辺形候補を規定してよい。候補構成要素は、四辺形候補の1つまたは複数及びテキスト候補の1つまたは複数に基づいて、画像のための1つまたは複数の標示候補を判定してよい。通信構成要素は、標示候補の1つまたは複数を、位置測定データベースの1つまたは複数の参照画像と照合または相互参照してよい。位置測定構成要素は、標示候補の1つまたは複数と参照画像の1つまたは複数との一致に基づいて、乗り物の位置を判定してよい。
1つまたは複数の実施形態において、抽出構成要素は、ストローク幅変換(SWT)に基づいて、テキスト候補の1つまたは複数を抽出してよい。候補構成要素は、グラウンド面に基づいて、四辺形候補の1つまたは複数をフィルタ処理してよい。抽出構成要素は、標示候補の1つまたは複数から、1つまたは複数のスケール不変特徴量変換(scale−invariant feature transform、SIFT)特徴量を抽出してよい。候補構成要素は、それぞれの標示候補と関連するスケール不変特徴量変換(SIFT)特徴量の数に基づいて、標示候補の1つまたは複数をフィルタ処理してよい。抽出構成要素は、線分長さ基準、またはテキスト候補への距離の閾値に基づいて、線分の1つまたは複数をフィルタ処理してよい。候補構成要素は、垂直の許容範囲または水平の許容範囲に基づいて、1つまたは複数の線分をフィルタ処理してよい。
抽出構成要素は、互いから離れた、閾値近接度よりも低い終点を有する2つまたはそれ以上の同一線上の線分に基づいて、線分連結を実行してよい。候補構成要素は、テキスト候補領域の四辺形領域に対する比の閾値に基づいて、四辺形候補の1つまたは複数をフィルタ処理してよい。候補構成要素は、それぞれの標示候補と関連する最大安定極値領域(maximum stable extreme regions、MSER)特徴量の数に基づいて、標示候補の1つまたは複数をフィルタ処理してよい。通信構成要素は、推定上のスケール不変特徴量変換(SIFT)マッチングに基づいて、標示候補の1つまたは複数を、参照画像の1つまたは複数と照合してよい。通信構成要素は、ホモグラフィベースのランダムサンプルコンセンサス(RANSAC)に基づいて、照合において1つまたは複数の外れ値を削除してよい。
位置測定構成要素は、透視n点(PnP)ソルバーモジュールまたはPnPユニット若しくは構成要素を使用して、乗り物の位置を判定してよい。システムは、乗り物の位置に基づいて、1つまたは複数のナビゲーション命令を生成するナビゲーション構成要素を含んでよい。
1つまたは複数の態様によれば、標示ベースの位置測定方法は、乗り物周辺の動作環境の画像を取込むこと、画像から1つまたは複数のテキスト候補を抽出すること、画像内の1つまたは複数の線分を検出すること、テキスト候補の1つまたは複数、線分の1つまたは複数、及び、それぞれの線分の1つまたは複数の交点に基づいて、1つまたは複数の四辺形候補を規定すること、四辺形候補の1つまたは複数及びテキスト候補の1つまたは複数に基づいて、画像のための1つまたは複数の標示候補を判定すること、標示候補の1つまたは複数を、(例えば、位置データと関連する)1つまたは複数の参照画像と照合すること、及び、標示候補の1つまたは複数と参照画像の1つまたは複数との一致に基づいて、乗り物の位置を判定すること、を含んでよい。
方法は、ストローク幅変換に基づいて、テキスト候補の1つまたは複数を抽出することを含んでよい。方法は、標示候補の1つまたは複数から、1つまたは複数のスケール不変特徴量変換(SIFT)特徴量を抽出すること、または、それぞれの標示候補と関連するSIFT特徴量の数に基づいて、標示候補の1つまたは複数をフィルタ処理することを含んでよい。方法は、線分長さ基準、またはテキスト候補への距離の閾値に基づき、線分の1つまたは複数をフィルタ処理することを含んでよい。方法は、それぞれの標示候補と関連する最大安定極値領域(MSER)特徴量の数に基づいて、標示候補の1つまたは複数をフィルタ処理することを含んでよい。1つまたは複数の態様によれば、標示ベースの位置測定用システムは、乗り物に搭載されるセンサ構成要素、抽出構成要素、候補構成要素、通信構成要素、及び、位置測定構成要素を含んでよい。センサ構成要素は、乗り物周辺の動作環境の画像を取込んでよい。抽出構成要素は、ストローク幅変換(SWT)に基づいて、画像から1つまたは複数のテキスト候補を抽出してよく、画像内の1つまたは複数の線分を検出してよく、また、テキスト候補の1つまたは複数、線分の1つまたは複数、及び、それぞれの線分の1つまたは複数の交点に基づいて、1つまたは複数の四辺形候補を規定してよい。候補構成要素は、四辺形候補の1つまたは複数及びテキスト候補の1つまたは複数に基づいて、画像のための1つまたは複数の標示候補を判定してよい。通信構成要素は、推定上のスケール不変特徴量変換(SIFT)マッチングに基づいて、標示候補の1つまたは複数を、位置測定データベースの1つまたは複数の参照画像と照合または相互参照してよい。位置測定構成要素は、標示候補の1つまたは複数と参照画像の1つまたは複数との一致に基づいて、乗り物の位置を判定してよい。
1つまたは複数の実施形態に従った、位置測定データベースを参照することにより位置測定を実行してよい、標示ベースの位置測定用の例示的なシステムの図である。 1つまたは複数の実施形態に従った、標示ベースの位置測定用の方法の例示的な流れ図の図である。 1つまたは複数の実施形態に従った、画像からの例示的なテキスト抽出の図である。 1つまたは複数の実施形態に従った、画像からの例示的なテキスト抽出の図である。 1つまたは複数の実施形態に従った、画像からの例示的な四辺形検出の図である。 1つまたは複数の実施形態に従った、画像からの例示的な四辺形検出の図である。 1つまたは複数の実施形態に従った、画像からの例示的な四辺形フィルタリング及びマージングの図である。 1つまたは複数の実施形態に従った、画像からの例示的な四辺形フィルタリング及びマージングの図である。 1つまたは複数の実施形態に従った、画像の例示的な最大安定極値領域(MSER)特徴量の図である。 1つまたは複数の実施形態に従った、取込まれた画像と参照画像との例示的なマッチングの図である。 1つまたは複数の実施形態に従った、透視n点(PnP)アルゴリズムに基づく例示的な位置測定の図である。 1つまたは複数の実施形態に従った、本明細書において明記される提供物の1つまたは複数を具体化するように構成される、プロセッサにより実行可能な命令を含む例示的なコンピュータ可読媒体またはコンピュータ可読デバイスの図である。 1つまたは複数の実施形態に従った、本明細書において明記される提供物の1つまたは複数が実施される例示的なコンピューティング環境の図である。
以下の説明及び添付の図面は、特定の実例となる態様及び実施態様を明記する。但し、これらは、1つまたは複数の態様を用いてもよい様々な方法のうちのいくつかを示すものである。本開示の他の態様、利点、または新規性のある特徴は、以下の詳細な説明から、添付の図面と共に考慮される場合に明らかとなろう。
以下の用語は、本開示全体を通して使用され、その定義は、本開示の1つまたは複数の態様を理解するのを助けるために本明細書において提供される。
本明細書において使用されるように、標示は、案内板、大型屋外看板、道路標識、他のタイプの標示等を含んでもよい。このような標示の実施例は、幹線道路の高架橋上の標示、大型屋外看板標示、ランドマーク標示、またはテキストを含む標示を含んでもよい。さらに、これらの用語は、本開示全体を通して交換可能に使用されてよい。
本明細書において使用されるように、「infer」または「inference」という用語は、概して、イベントまたはデータを介して取込まれる1つまたは複数の観察から、システム、構成要素、環境、ユーザ等の状態を推理または推論するプロセスを指す。推論は、例えば、状況または行為を特定するのに用いられてもよく、または、状態についての確率分布を生成するのに用いられてもよい。推論は、確率論的なものであってもよい。例えば、関心の状態についての確率分布の演算は、データまたはイベントの考察に基づく。推論はまた、イベントまたはデータのセットから、より高いレベルのイベントを構成するのに用いられる技法を指してもよい。イベントが時間的に近接して相関するものであろうとなかろうと、及び、イベント及びデータが1つまたはいくつかのイベント及びデータソースから生じるものであろうと、そのような推論は、観察されたイベントまたは記憶されたイベントデータのセットから、新たなイベントまたは新たな行為の構築をもたらしてよい。
概して、案内板、大型屋外看板、または道路標識は、閉塞、影、検出、保守や修理による変更、距離、ドリフト等などの、他のタイプの位置測定と関連し得る問題を受けないのが一般的である。1つまたは複数の実施形態において、位置測定、または乗り物の位置若しくは場所の判定は、案内板からのテキスト検出に基づいて提供される。言い換えると、乗り物のための位置測定は、乗り物に搭載されたカメラ、画像取込み構成要素、または、センサ構成要素110を介して、幹線道路上の案内板の存在を検出または判定することにより提供されてよい。例えば、標示ベースの位置測定または乗り物位置測定用のシステム100は、案内板または大型屋外看板を検出してよく、当該案内板または大型屋外看板からテキストを抽出または認識してよく、当該抽出されたテキストまたはデータから偽陽性及び偽陰性のデータをフィルタ処理してよく(評価されるべき標示候補が残される)、及び、案内板または大型屋外看板候補(例えば、標示候補)の画像または特徴を、位置測定データベース190における参照画像またはデータに照合することにより、検出された標示及び/または抽出されたテキストに基づいて、(例えば、透視アルゴリズムを用いて)位置測定判定を成してよい。
図1は、1つまたは複数の実施形態に従った、位置測定データベース190を参照することにより位置測定を実行してよい標示ベースの位置測定用の例示的なシステム100の図である。標示ベースの位置測定用のシステム100は、センサ構成要素110、抽出構成要素120、通信構成要素130、候補構成要素140、位置測定構成要素150、及び、ナビゲーション構成要素160を含んでよい。1つまたは複数の実施形態において、位置測定データベース190は、マッピング構成要素192及びデータベース構成要素194を含んでよい。標示ベースの位置測定用のシステム100は、位置測定データベース190またはデータベース構成要素194の参照画像と、取込まれた画像を相互参照してよい。1つまたは複数の実施形態において、位置測定データベース190、またはデータベース構成要素194などの関連する構成要素は、標示ベースの位置測定用のシステム100から遠隔のものであってもよい。他の実施形態において、標示ベースの位置測定用のシステム100は、位置測定データベース190のデータベース構成要素194と類似したデータベース構成要素(システム100内に図示しない)を含んでもよい。
一般に、センサ構成要素110は、乗り物の位置測定を促進するように、画像を検出し、取込み、または感知する。抽出構成要素120は、画像からテキスを抽出すること、線分検出(LSD)、線分連結、四辺形検出、四辺形フィルタリング、四辺形境界リファイニング、最大安定極値領域(MSER)フィルタリング、四辺形マージング等を実行することにより、1つまたは複数の標示、案内板、大型屋外看板、道路標識等を検出してよい。候補構成要素140は、抽出構成要素120により検出される四辺形または四辺形候補に基づいて、1つまたは複数の標示候補を判定してよく、これにより、偽陽性または偽陰性の標示候補または他のデータが除去される。
位置測定データベース190は、マッピング構成要素192またはデータベース構成要素194を含んでもよい。マッピング構成要素192は、1つまたは複数の参照画像を収集してよく、標示、案内板、大型屋外看板、道路標識等のためのそれぞれの参照画像を分析してよい。場所情報、位置情報、座標情報など、これらの標示と関連する情報が抽出されてよく、データベース構成要素194に記憶されてよい。一実施例として、データベース構成要素194は、1つまたは複数の標示の1つまたは複数のコーナーと関連する座標を記憶してよい。
通信構成要素130は、例えば、推定上のスケール不変特徴量変換(SIFT)マッチングなどを用いて、位置測定データベース190の1つまたは複数の参照画像と、取込まれた画像からの1つまたは複数の標示候補との間の、マッチング、相互参照、またはデータ関連付けを実行してよい。位置測定構成要素150は、一致、参照画像と関連する対応位置情報、及び透視n点(PnP)アルゴリズムなどの位置測定アルゴリズムに基づいて、乗り物の現在の場所または現在の位置を判定してよい。ナビゲーション構成要素160は、これに応じて、1つまたは複数のナビゲーション命令を提供してよい。
センサ構成要素110は、乗り物が移動している現実世界の環境または動作環境から、1つまたは複数の画像を検出してよい。これらの画像は、1つまたは複数の標示、案内板、大型屋外看板、道路標識、他の乗り物、道路、道路区分、障害物、交通量、歩行者、物体、危険物等を含んでよい。1つまたは複数の実施形態において、センサ構成要素110は、単眼カメラ、ステレオカメラ、または、画像取込み構成要素を含んでよい。センサ構成要素110、カメラ、または画像取込み構成要素は、乗り物が移動している道路または道路区分沿いの標示、案内板、大型屋外看板、または道路標識の画像の写真を取るか、または画像を取込むように、乗り物に搭載されてよい。言い換えると、センサ構成要素110の機能は、標示検出のための画像取込み機能を提供することであってよい。
センサ構成要素110は、照明が弱いシナリオまたはコントラストが弱いシナリオなど、様々なシナリオを補償するように、1つまたは複数の画像取込み技法を実施してよい。例えば、センサ構成要素110は、抽出構成要素120により利用されてよいエッジ検出閾値などの、(例えば、センサ構成要素110により取込まれる)画像の1つまたは複数と関連する1つまたは複数のパラメータを調整してよい。言い換えると、センサ構成要素110は、追加またはより多くのエッジが画像内に検出されるように、1つまたは複数のエッジ検出閾値を調整してよい。例えば、標示が画像内に検出されないか、ほとんど検出されない場合、または、照明が弱い、またはコントラストが弱いシナリオが生じる場合、センサ構成要素110は、それに応じてこのようなパラメータを調整してもよい。この結果、より多くの真陽性エッジが、いくつかの偽陽性のエッジと共に検出されてよく、偽陽性のエッジは、本明細書において述べるように、候補構成要素140により、または抽出構成要素120により、フィルタ処理されてよい。
前述のように、抽出構成要素120は、標示、案内板、大型屋外看板、道路標識、または他のタイプの標示を検出してよい。抽出構成要素120は、センサ構成要素110から画像を提供されると、標示、案内板、または大型屋外看板が当該画像内に存在するかどうかを検出または判定する。別の言い方をすると、抽出構成要素120は、画像内に発見される特徴量に基づいて、(1つまたは複数の四辺形候補から判定される)1つまたは複数の標示候補から、1つまたは複数の標示を「抽出」または規定してよい。抽出構成要素120は、1つまたは複数の標示候補または可能性のある案内板を検出するように、テキスト抽出、線分検出(LSD)、線分連結、四辺形検出、四辺形のフィルタリング、四辺形の境界リファイニング、最大安定極値領域(MSER)フィルタリング、四辺形マージング等をファクタまたはキューとして利用してよい。
この点に関して、抽出構成要素120は、画像から1つまたは複数のテキスト候補を生成するように、画像からテキストを抽出してよく、画像からテキストを認識してよく、または、テキスト判定を実行してよい。例えば、抽出構成要素120は、センサ構成要素110により取込まれた画像などの画像から、テキストまたは文章を検出してよい。候補構成要素140は、画像内の関心または候補領域の1つまたは複数の領域を特定してよい。関心または候補領域のこれらの領域は、標示ベースの位置測定用のシステム100の構成要素によってさらに分析されてよい。このように、抽出構成要素120は、テキストまたは非テキストとして画像の一部をラベル付けしてよい。ここで、候補構成要素140は、テキストとしてラベル付けされた部分の1つまたは複数を、テキスト候補としてラベル付けしてよい。
1つまたは複数の実施形態において、抽出構成要素120は、ストローク幅変換(SWT)に基づいて、画像から1つまたは複数のテキスト候補を検出してよい。他の実施形態において、抽出構成要素120は、光学文字認識(OCR)に基づいて、画像からテキスト候補の1つまたは複数を検出してよい。このように、抽出構成要素120は、種々の技法を介してテキスト認識を達成してよい。
1つまたは複数の実施形態において、抽出構成要素120は、グラウンド面、地平面、グラウンドレベル、地平レベル等を判定してよい。候補構成要素140は、地平レベルよりも低い情報または候補をさらにフィルタ処理または削除してよい。効果的に、抽出構成要素120は、1つまたは複数の実施形態に従って、(乗り物の運転者または乗員の視野に関して)グラウンドよりも高い、または空中の情報を考慮してよい。
一実施例として、図3Aに関して、それぞれ標示310A及び312Aのテキスト320A及び322Aが、(例えば、抽出構成要素120により実行される)テキスト抽出を介して特定されてよいことが理解されよう。ここで、図3Aの実施例において、候補構成要素140が、地平レベル340よりも低い情報または候補をフィルタ処理または削除するので、例えば乗り物のナンバープレートと関連するテキストはテキスト候補として考慮されず、これにより、テキスト抽出が高まる。言い換えると、位置測定データベース190が、標示310Aまたは312Aなどの標示と関連するデータを含むか、または有してよいので、テキスト320A及び322Aを画像から抽出することが望ましいであろう。従って、乗り物のナンバープレート、制限速度標示等からのテキストなどの他のテキストは、標示310A及び312Aのテキスト320A及び322Aと同程度に有用なものでなくてよい。これは、制限速度標示が一般に、他のタイプの道路標識、大型屋外看板、または標示等のように「固有」のものでないことに起因してよい。
さらに、候補構成要素140は、テキスト候補の1つまたは複数から、1つまたは複数の偽陽性または1つまたは複数の偽陰性の候補をフィルタ処理または削除してよい。一実施例として、偽陰性は、乗り物または標示ベースの位置測定用のシステム100のセンサ構成要素110から遠い距離と関連するテキスト候補であってよい。このように、遠方の物体の標示または画像は、一般に、位置測定用の正確な情報を提供しないので、候補構成要素140は、候補を、偽陰性の候補として削除またはフィルタ処理してよい。遠方にある大型屋外看板は、一般に、位置測定に関して正確な情報を寄与しないので、候補構成要素140は、スケール不変特徴量変換(SIFT)特徴量の閾値の数を有さない候補をフィルタ処理してよい。
抽出構成要素120は、センサ構成要素110により取込まれた画像から、1つまたは複数の線分を収集または分析するように、線分検出(LSD)、線分連結等を実行してよい。1つまたは複数の実施形態において、抽出構成要素120は、画像から1つまたは複数の線分を検出でき、且つ、道路または道路区分沿いの案内板、大型屋外看板、道路標識、または他のタイプの標示を特定するように、それぞれの検出された線分を利用してよい。さらに、抽出構成要素120は、誤った読み取り、画像におけるアーチファクト、歪み、照明が弱いか、またはコントラストが弱いシナリオ等を補正または補償するように、近接する同一線上の線分を連結または接続してよい。いずれにせよ、抽出構成要素120は、画像から1つまたは複数の線分を検出または抽出してよい。
抽出構成要素120は、1つまたは複数の線分基準に基づいて、1つまたは複数の線分をフィルタ処理してよく、または、1つまたは複数の線分を選択してよい。線分基準は、大型屋外看板の線を他の物体の線と区別するのに使用されてよい。それゆえ、抽出構成要素120は、1つまたは複数の線分のセットを抽出するように、画像に線分検出を適用してよい。抽出構成要素120は、こうして、1つまたは複数の線分のセットから、1つまたは複数の線分のサブセットを選択または判定するように、線分基準の1つまたは複数を使用してよい。このように、線分は、それぞれの線分基準に基づいて、フィルタ処理または選択されてよい。
例えば、抽出構成要素120は、1つまたは複数のテキスト候補への線分の近接度に基づいて、線分のセットから、1つまたは複数の線分をフィルタ処理してよい。言い換えると、抽出構成要素120は、テキスト候補への距離の閾値と関連する線分基準に基づいて線分をフィルタ処理してよい。一実施例として、抽出構成要素120は、線分長さ基準に基づいて、1つまたは複数の線分のサブセットをフィルタ処理または選択してよい。ここで、この実施例において、抽出構成要素120は、閾値長さ(例えば、線分長さ基準)よりも短い線分をフィルタ処理してよい。このように、抽出構成要素120は、線分長さ基準に適合する1つまたは複数の線分のサブセットを選択または生成してよい。
線分基準の他の実施例は、k−d木閾値近接度、線分長さ等を含んでよい。例えば、候補構成要素140は、線分のテキストとの近接度基準に基づいて、1つまたは複数の線分のサブセットをフィルタ処理または選択してよい。ここで、この実施例において、抽出構成要素120は、テキスト(例えば、テキスト候補の1つまたは複数のテキスト)に対応する1つまたは複数のピクセル位置を、または、線分の1つまたは複数に対応する1つまたは複数のピクセル位置をk−d木として記憶または規定してよい。k−d木とは、k次元空間において1つまたは複数の位置を整理するための構造またはデータ構造である。別の言い方をすると、k−d木とは、木のノードがk次元的点を表す木である。
1つまたは複数の実施形態において、抽出構成要素120は、1つまたは複数の線分のそれぞれの線分の中間点及び終点を判定する。このように、それぞれの線分は、第1の終点、第2の終点、及び中間点を含め、3つの点、またはピクセル位置に関連付けられたものであってよい。1つまたは複数の態様に従って、候補構成要素140は、線分の2つまたはそれ以上の点のテキスト候補への距離がテキスト候補への距離の閾値以内である場合、線分のテキスト候補との近接度基準が満たされると判定する。言い換えると、候補構成要素140は、線分の2つまたはそれ以上の点もしくはピクセル位置と1つまたは複数のテキスト候補もしくは対応するピクセル位置との近接度に基づいて、1つまたは複数の線分のサブセットをフィルタ処理、生成、または選択してよい。
より詳細に説明すると、一実施例として、テキスト候補への距離の閾値が30ピクセルであり、第1のテキスト候補からそれぞれ20ピクセル、35ピクセル、及び25ピクセル離れた第1の終点、第2の終点、及び中間点を備える線分があるとする。この場合、候補構成要素140はこの実施例の線分を、線分検出(LSD)に関連する線分のサブセットに含まれるよう、または、線分候補として検討されるよう、選択してよい(例えば、第1の終点及び中間点のテキスト候補への距離がテキスト候補への距離の閾値を下回るため)。このように、関連する線分(例えば、サブセット)が、画像の1つまたは複数の線分のセットから選択されてよい(例えば、線分フィルタリング)。
他の実施形態において、テキスト候補への距離の閾値との比較の対象として、異なる数の点が検討されてもよい。さらに、テキスト候補への距離の閾値は、異なるシナリオに合わせて調整されてもよい。このように、候補構成要素140は、テキスト候補への近接度に基づいて、1つまたは複数の線分をフィルタ処理してよい。1つまたは複数の実施形態において、候補構成要素140は、抽出構成要素120の1つまたは複数の機能を実行してよい。他の実施形態において、抽出構成要素120は、候補構成要素140の1つまたは複数の機能を実行してよい。
抽出構成要素120は、四辺形検出を実行してよく、または四辺形候補として評価するために、候補構成要素140のための1つまたは複数の四辺形を検出してよい。例えば、抽出構成要素120は、線分検出の間に発見または検出される線分の1つまたは複数により形成される1つまたは複数の四辺形を検出または「規定」してよい。ここで、この実施例において、抽出構成要素120は、線分フィルタリングに基づいて、線分のサブセットの線分に基づく四辺形を検出してよい。案内板、大型屋外看板、及び道路標識は、一般に、境界としての明瞭な線分を有するので、抽出構成要素120は、画像においてこの方法で出現する四辺形を検出でき、また、関心領域として、または候補構成要素140のための四辺形候補として、これらの四辺形をマークしてよい。
1つまたは複数の実施形態において、候補構成要素140は、実質的に垂直または実質的に水平でない線分をフィルタ処理または削除してよい。例えば、線分が、水平に角度を付けられている場合、または地平レベルと平行である場合、これは0度と定義されてよく、垂直である線分は、90度であると定義されてよい。候補構成要素140は、垂直の許容範囲または水平の許容範囲などの、許容範囲外にある線分候補を削除またはフィルタ処理してよい。1つまたは複数の実施形態において、異なる許容範囲が、垂直の線分フィルタリング及び水平の線分フィルタリングのために候補構成要素140により利用されてよい。
例えば、垂直の許容範囲は、10度であってよい。ここで、この実施例において、候補構成要素140は、80度〜100度の範囲内にない線分をフィルタ処理してよい。別の実施例として、水平の許容範囲は、20度であってよい。ここで、候補構成要素140は、−20度から20度の範囲内にない線分をフィルタ処理してよい。このように、垂直の許容範囲よりも大きい水平の許容範囲が使用されてよい。それゆえ、1つまたは複数の態様によれば、候補構成要素140は、例えば垂直の許容範囲がより狭いことにより、垂直の線分に対してより選択的であってよい。
このように、候補構成要素140は、四辺形候補を形成または検索するのに使用されてよい、実質的に垂直または実質的に水平の線分のサブセットをフィルタ処理または選択することにより、四辺形候補としてアセンブルまたは考慮されてよい線分のサブセットを、抽出構成要素120に提供してよい。
抽出構成要素120は、1つまたは複数の垂直の線分と1つまたは複数の水平の線分との間の1つまたは複数の交点を判定または算出してよい。例えば、抽出構成要素120は、線分の第1の終点、第2の終点、または中間点などの、k−d木からの線分の点と関連する1つまたは複数のピクセル位置を参照してよい。抽出構成要素120は、第1の線分の終点が第2の線分の終点の閾値近接度内にある場合に、交点を判定してよい。一実施例として、この閾値近接度は10ピクセルであってよい。このように、第1の線分が第2の線分の終点から5ピクセル離れた終点を有する場合、抽出構成要素120は、こうした2つの線分間に交点が存在すること、または、第1の線分と第2の線分との間に交点が存在することを判定できる。さらに、抽出構成要素120は、対応する線分のこの交点及び情報と関連する座標または位置を記憶してよく、または、同じものを通信構成要素130に伝達してよい。
1つまたは複数の実施形態において、第1の線分が実質的に垂直の線分であり、且つ、2つの終点を有すること、第2の線分が実質的に水平の線分であり、且つ、2つの終点を有すること、及び、第1の線分の終点が、第2の線分の終点からの閾値近接度よりも低いことに基づいて、抽出構成要素120は、1つまたは複数の交点を判定してよい。このように、それぞれの線分が、(例えば、垂直の許容範囲及び/または水平の許容範囲内で)実質的に垂直であり、且つ、それぞれの線分の終点が「接触している」場合、抽出構成要素120は、第1の線分と第2の線分との交点を判定してよい。
1つまたは複数の実施形態において、抽出構成要素120は、2つまたはそれ以上の同一線上の、より短い線分から、より長い線分を判定または形成するように、線分連結または「線連結」を実施してよい。例えば、センサ構成要素110は、1つの線分が、2つまたはそれ以上の線分に、または、中間に不正確な「裂け目」を有するものとして取込まれる線分に分割される画像を取込むことがある。不正確な「裂け目」の結果、抽出構成要素120により実施される四辺形検出は、短い線分により形成される四辺形を返信することがある。不正確な「裂け目」と関連するこのような四辺形を補償または軽減するために、抽出構成要素120は、より長い線分を形成または回復するように、近接して位置される、同一線上または平行の線分を連結することなどによって、線分連結を実行してよく、これにより、正確な線分検出、四辺形検出、候補選択、及び大型屋外看板または標示検出が促進される。
この点に関して、1つまたは複数の態様に従って、第1の線分が2つの終点及び第1の配向を有すること、第2の線分が2つの終点及び(例えば、第1の線分の配向角の許容範囲内で)実質的に同様の配向を有すること、及び、第1の線分の終点が第2の線分の終点からの閾値近接度よりも低いことに基づいて、抽出構成要素120は、2つまたはそれ以上の線分を連結してよい。このように、それぞれの線分が、(例えば、互いの許容範囲内で)実質的に同一線上または平行であり、且つ、それぞれの線分の終点が「接触している」場合、抽出構成要素120は、第1の線分及び第2の線分を「連結」してよい。これは、垂直の線分、水平の線分等のために行われてよい。
1つまたは複数の実施形態において、抽出構成要素120は、1つまたは複数の線分(例えば、第1の線分及び第2の線分以外のもの)を有する追加の交点(例えば「ジオ・コーナー(geo‐corners)」)を検索してよい。言い換えると、第1の線分と第2の線分との交点が、抽出構成要素120により一旦判定または検出されると、第1の線分または第2の線分に接線する追加の交点が検索されてよい。このように、第1の線分及び第2の線分と関連する第1の交点があれば、それぞれの線分は、四辺形の2つの辺として考慮されてよい。ここで、抽出構成要素120は、第1の線分または第2の線分との交点を有する第3の線分を発見することにより、四辺形の第3の辺を検索してよい。このように、抽出構成要素120は、四辺形検索または四辺形検出を実行してよい。
1つまたは複数の実施形態において、候補構成要素140は、第1の線分、第2の線分、及び第3の線分に基づいて、四辺形を、四辺形候補として規定でき、第1の線分は第2の線分との交点を有し、第2の交点は第3の線分との交点を有しており、また、第1の線分は第2の線分に実質的に垂直であり、第2の線分は第3の線分に実質的に垂直である。同様に、この構成において、第1の線分は、第3の線分に実質的に平行であってよい。
このように、候補構成要素140は、2つ(またはそれ以上)の交点を有する3つの辺または3つの線分を使用して、四辺形候補を規定してよい。1つまたは複数の実施形態において、候補構成要素140は、四辺形候補を規定または概算するように、それぞれの線分の終点の周辺にバウンディングボックスを生成してよい。他の実施形態において、抽出構成要素120は、四辺形を完成するように、第4の辺または第4の線分を検索してよい。しかし、3つの辺または3つの線分のみが、四辺形候補選択に使用されてもよい。1つまたは複数の実施形態において、候補構成要素140が、3つの辺または3つの線分を使用して四辺形候補を規定する結果、欠けている第4の線分、欠けている線分、または、(例えば、ことによるとセンサ構成要素110等により検出されない)欠けている境界線分は必要とされないので、候補選択は、より確固なものとなり、これにより、候補構成要素140による四辺形候補の「推論」が可能となる。
1つまたは複数の実施形態において、候補構成要素140は、四辺形候補の1つまたは複数から偽陽性の候補を削除またはフィルタ処理するように、1つまたは複数の四辺形候補をフィルタ処理してよい。偽陽性の四辺形候補は、対応する大型屋外看板または標示よりも大きなバウンディングボックスを有する四辺形を含んでよい。ここで、候補構成要素140は、四辺形候補をバウンディングボックスとして扱ってもよく、四辺形がテキストを含むかどうかを調査してよい。例えば、四辺形候補が、テキストのない候補、またはテキストがゼロ個の候補を含む場合、候補構成要素140は、そうした四辺形候補を考察から削除してよく、または、そうした四辺形を候補としてマークしなくてよい。例えば、これは、最大安定極値領域(MSER)フィルタリングを使用して達成されてよい。
1つまたは複数の実施形態において、抽出構成要素120は、1つまたは複数の四辺形候補から、最大安定極値領域(MSER)特徴量の数を検出または抽出してよく、また、これに応じて(例えば、それぞれの四辺形または四辺形候補内で検出されるMSER特徴量の数に基づいて)、候補構成要素140にそれぞれの候補をフィルタ処理させてよい。例えば、候補構成要素140は、MSER特徴量の数が閾値よりも低い四辺形候補を、考察からフィルタ処理または削除してよい。1つまたは複数の態様によれば、候補構成要素140は、MSER特徴量の数が10未満または10よりも少ない四辺形候補を排除してよい(例えば、この実施例において、MSER特徴量の数の閾値は10である)。このように、候補構成要素140は、偽陽性の四辺形候補を効果的に削除してよく(例えば、十分なテキストを含まない四辺形を削除してよく)、偽陰性の四辺形候補は導入されない。これらのMSER特徴量は、検索またはマッチングを促進するように、通信構成要素130に伝達されてよい。
逆に、四辺形がテキストを過剰に含む場合か、テキスト候補に対応する領域と四辺形領域の領域比が閾値を超える場合、候補構成要素140は、同様のやり方でこうした四辺形を削除または排除してよい。テキスト候補領域の四辺形領域に対する比の閾値の一実施例は、0.8あってよい。このように、テキストが四辺形の80%よりも多いかそれ以上をカバーする場合、そうした四辺形は、当該四辺形が候補でないように、削除されてよい。1つまたは複数の実施形態において、候補構成要素140は、テキスト候補領域の四辺形領域に対する比の閾値、及び、テキスト候補を含む別の四辺形の存在に基づいて、四辺形候補を排除してよく、これにより、テキスト候補が完全には排除されないことが確実となる。このように、候補構成要素140は、偽陽性のテキスト検出を軽減してよい。言い換えると、候補構成要素140は、四辺形候補内のテキストの領域または量に基づいて、四辺形候補をフィルタ処理してよい。このように、候補構成要素140または抽出構成要素120は、1つまたは複数の四辺形をフィルタ処理してよく、または1つまたは複数の四辺形候補に対して四辺形フィルタリングを実行してよい。
抽出構成要素120は、四辺形候補の1つまたは複数、または、1つまたは複数の四辺形の1つまたは複数の境界をリファインしてよい。例えば、抽出構成要素120は、1つまたは複数の線分または関連する終点に関する1つまたは複数のバウンディングボックスを使用して、1つまたは複数の四辺形候補を規定してよい。1つまたは複数の実施形態において、抽出構成要素120は、1つまたは複数の四辺形候補または関連の線分に対して四辺形境界リファイニングを実行してよい。例えば、バウンディングボックスが、四辺形または四辺形候補を概算または規定するように線分終点の周辺に配置される場合、これは、1つまたは複数の線分が、実際の長さよりも長い長さと関連するので、対応する大型屋外看板または案内板と比べて大きすぎるバウンディングボックスをもたらすことがある。従って、抽出構成要素120は、例えば、線分の交点の周辺にバウンディングボックスを配置してよい。言い換えると、抽出構成要素120は、3つまたはそれ以上の線分及び2つまたはそれ以上の交点の周辺にバウンディングボックスを配置することにより、1つまたは複数の四辺形を抽出してよい。いずれにせよ、抽出構成要素120は、線分長さが一致しない等など、過大な特徴量のために四辺形候補を規定するバウンディングボックスを繰り返しチェックしてよく、これに応じてバウンディングボックスを調整してよい。
四辺形候補がネストされ、重複し、部分的に重複し、近接し、近接度閾値内でほぼ近接するなどの場合に、抽出構成要素120は、四辺形のマージングまたはフィルタリングを実行してよい。それゆえ、(例えば、近接度閾値内で)近接する四辺形は、単一の(例えば、ことによると、より大きな)四辺形に結合されてよい。四辺形がネストされる場合、抽出構成要素120は、四辺形をマージしてよく、または、四辺形候補としての内側の四辺形を排除する一方で、外側の四辺形を単に選択してよい。
前述のように、候補構成要素140は、1つまたは複数の異なる候補を判定してよい。例えば、候補構成要素140は、テキスト候補、線分候補、四辺形候補、標示候補等の判定を促進してよい。候補構成要素140は、(例えば、最大安定極値領域特徴量抽出により判定されるような)閾値の数のテキスト特徴量を有する四辺形候補の1つまたは複数から、1つまたは複数の標示候補を判定してよい。このように、候補構成要素140は、1つまたは複数の四辺形候補と、対応する四辺形候補内に含まれる1つまたは複数のテキスト候補とに関連する、1つまたは複数の標示候補を判定してよい。さらに、候補構成要素140は、1つまたは複数の標示候補のセットを提供または生成するように、偽陽性及び偽陰性の標示候補をフィルタ処理してよい。
位置測定データベース190は、マッピング構成要素192及びデータベース構成要素194を含んでよい。マッピング構成要素192は、1つまたは複数の参照画像を収集してよく、また、標示、案内板、大型屋外看板、道路標識等のためのそれぞれの参照画像を分析してよく、これにより、検索される参照画像のデータベースが構築される。マッピング構成要素192は、場所情報、位置情報、座標情報等などの、これらの標示と関連する情報を抽出してよく、それらをデータベース構成要素194に記憶してよい。一実施例として、データベース構成要素194は、1つまたは複数の標示の1つまたは複数のコーナーと関連する座標を記憶してよい。
1つまたは複数の実施形態において、マッピング構成要素192は、標示、案内板、大型屋外看板、または道路標識と関連する情報を、現実世界の環境または動作環境から収集してよい。この情報は、標示、案内板、大型屋外看板、道路標識、関連する3次元姿勢情報、座標等のテンプレート画像、データベース画像、または参照画像を含んでよい。1つまたは複数の実施形態において、マッピング構成要素192は、標示のこれらのテンプレートまたは参照画像から、1つまたは複数の参照または「未処理の」スケール不変特徴量変換(SIFT)特徴量を演算または抽出してよい。このように、位置測定データベース190のテンプレートまたは参照画像のSIFT特徴量が、事前演算または事前算出されてよい。
さらに、マッピング構成要素192は、案内板、大型屋外看板、または道路標識と関連する1つまたは複数の位置、場所、または座標情報を、演算、算出、または受信してよい。例えば、マッピング構成要素192は、大型屋外看板の1つまたは複数のSIFT特徴量またはSIFT点の現実世界の3D位置(例えば、案内板位置または案内板場所))を推定してよい。1つまたは複数の実施形態において、マッピング構成要素192は、全地球測位システムを使用して、現実世界の3D位置と関連する大型屋外看板または案内板のための1つまたは複数のコーナー位置を推定または判定してよい。
例えば、マッピング構成要素192は、フレームと、標示、案内板、大型屋外看板、道路標識の参照画像を取込む慣性測定装置(IMU)またはセンサ構成要素との間の、標示の3D点への形状保存変換を、IMUまたはセンサ構成要素に関して3D座標を取得するために実行してよい。1つまたは複数の実施形態において、マッピング構成要素192は、ディファレンシャル全地球測位システム(DGPS)により提供されてよい6自由度(6DoF)姿勢の慣性測定装置(IMU)またはセンサ構成要素に基づいて、固定のデカルト座標系またはワールド座標系(WCS)に関して、標示、案内板、大型屋外看板、道路標識の3D座標を判定してよい。言い換えると、マッピング構成要素192は、位置測定データベース190を構築するため、または、1つまたは複数の参照画像及び対応若しくは関連する場所、位置、若しくは座標情報などの、データベース構成要素194用のデータを収集するためのグラウンドトルスのソースとして、DGPSまたはGPSを利用してよい。
いずれにせよ、マッピング構成要素192は、案内板マッピングを実行してよく、または、1つまたは複数の標示または案内板及び対応する3D位置、真位置、現実世界位置等を含む3Dマップを構築してよい。マッピング構成要素192は、データベース構成要素194における対応するデータを記憶してよい。
1つまたは複数の実施形態において、データベース構成要素194は、1つまたは複数の標示、案内板、大型屋外看板、または道路標識の1つまたは複数の参照画像と、それぞれの案内板または大型屋外看板のための対応する3D位置、場所、または座標情報とを包含、記憶、または収容してよい。例えば、データベース構成要素194は、大型屋外看板の1つまたは複数のためのコーナー位置を記憶してよい。位置または場所は、デカルト座標系またはワールド座標系(WCS)などにおいて、種々のフォーマットで記憶されてよい。1つまたは複数の実施形態において、データベース構成要素194は、標示ベースの位置測定用のシステム100の一部であってよい。他の実施形態において、データベース構成要素194は、標示ベースの位置測定用のシステム100により遠隔にアクセスされてよく、またはアクセス可能であってよい。例えば、測量会社などの第三者が、位置測定を促進するようにアクセスされてよい案内板画像のデータベースを構築してもよい。他の実施形態において、データベース構成要素194は、標示ベースの位置測定用のシステム100内に含まれてもよく、または、システム100にローカルなものであってもよい。言い換えると、マッチングは、乗り物のオンボードで実行されてもよく、または、乗り物または標示ベースの位置測定用のシステム100のオフボードで実行されてもよい。
通信構成要素130は、データベース構成要素194または位置測定データベース190の参照画像の1つまたは複数と、センサ構成要素110により取込まれた画像または標示候補を照合してよい。ここで、通信構成要素130は、(例えば、データ関連付けを介した、)センサ構成要素110により取込まれた1つまたは複数の標示候補または大型屋外看板と、対応する大型屋外看板参照画像の、位置測定データベース190またはデータベース構成要素194からの参照画像との一致を、判定または検索してよい。
このように、センサ構成要素110により取込まれた画像(または、例えば、そこから導出される標示候補)は、それぞれの画像と関連する位置または場所データを含むテンプレートまたは参照画像のデータベースと、相互参照されてよい。例えば、センサ構成要素110により取込まれた画像から抽出されるテキストは、位置測定データベース190またはデータベース構成要素194の画像と関連するテキストと比較されてよい。1つまたは複数の実施形態において、こうした比較は、特徴量ベースのアプローチを使用して実行されてもよい。さらに別の言い方をすると、通信構成要素130は、データ関連付けまたは特徴量マッチングを使用して一致をチェックしてよい。言い換えると、標示候補のSIFTまたはMSER特徴量などの特徴量は、位置測定データベース190またはデータベース構成要素194の画像の対応する特徴量と比較されてよい。
1つまたは複数の実施形態において、通信構成要素130は、標示候補画像シーケンスを参照画像と照合するように、(例えば、画像またはシステム100により取込まれた画像の標示候補部分と、位置測定データベース190からの画像とのマッチング)、推定上のスケール不変特徴量変換(SIFT)マッチングを実施してよい。
例えば、抽出構成要素120は、標示候補と、位置測定データベース190からの大型屋外看板のテンプレートまたは参照画像との一致を発見するように、画像の標示候補からのスケール不変特徴量変換(SIFT)特徴量を抽出してよい。ここで、通信構成要素130は、例えば、推定上のSIFT一致の最大数に基づいて、標示候補のSIFT特徴量と、位置測定データベース190からのテンプレートまたは参照画像の、参照または未処理のSIFT特徴量との一致を発見するように、位置測定データベース190を照会してよい。例えば、1つまたは複数の実施形態において、通信構成要素130は、SIFT一致閾値に基づいて、マッチングを判定する。ここで、この実施例において、SIFT一致の数が、SIFT一致閾値(例えば、10個の特徴量)よりも大きい場合、通信構成要素130は、標示候補が対応するテンプレートまたは参照画像と一致すると判定する。このように、通信構成要素130により提供されるマッチングには偽陽性の一致がほとんどない結果となる。
1つまたは複数の実施形態において、1つまたは複数の推定上の一致が、画像または画像シーケンスの標示候補と、位置測定データベース190からのテンプレートまたは参照画像との間で一旦発見されると、通信構成要素130は、1つまたは複数の幾何学的制約を適用してよい。さらに、通信構成要素130は、ランダムサンプルコンセンサス(RANSAC)に基づいて、追加のフィルタリングを実行してもよい。1つまたは複数の実施形態において、通信構成要素130は、ホモブラフィベースのランダムサンプルコンセンサス(RANSAC)を使用して、1つまたは複数の外れ値を削除してよい。
位置測定構成要素150は、標示候補と、参照画像、当該参照画像と関連する座標情報、及び位置測定の式またはアルゴリズムとの一致に基づいて、乗り物位置測定を促進してよい。例えば、マッチングは、テキストマッチング(例えば、取込まれた画像からのテキストと、位置測定データベース190の画像からのテキストとの一致に基づく位置測定)、特徴量マッチング(例えば、取込まれた画像からの特徴量と、位置測定データベース190の画像からの特徴量との一致に基づく位置測定)等であってよい。このように、位置測定構成要素150は、乗り物の現在の場所または現在の位置を判定してよい。
1つまたは複数の実施形態において、位置測定構成要素150は、標示または大型屋外看板等の1つまたは複数のSIFT特徴量の角度、距離、3D位置に基づいて、推定された乗り物位置(または、センサ構成要素110位置、画像取込み構成要素位置、推定されたカメラ位置、乗り物姿勢、等)を算出してよい。ここで、通信構成要素130は、大型屋外看板のコーナー場所情報などの、位置測定データベース190から一致される大型屋外看板と関連する位置情報を取得してよい。3D−2D対応を使用して、位置測定構成要素150、乗り物の推定された現在の場所または現在の位置を算出してよい。
1つまたは複数の実施形態において、位置測定構成要素150は、透視n点(PnP)アルゴリズムに基づいて、乗り物の現在の位置を算出してよい。例えば、位置測定構成要素150への入力は、3D−2D点対応のセットを含んでもよく、位置測定構成要素150の出力は、現実世界の環境または動作環境における乗り物の姿勢及び座標を含んでもよい。他の実施形態において、位置測定構成要素150は、ワールド座標系(WCS)に関して乗り物の現在の位置を判定するように、(PnP)ソルバーモジュールまたはPnPユニット若しくは構成要素を実装してもよい。位置測定は、センサ構成要素110により取込まれた複数のビューまたは画像に基づくものであってよい。ナビゲーション構成要素160は、乗り物の現在の位置に基づいて、1つまたは複数のナビゲーション命令を提供してよい。1つまたは複数の実施形態において、標示ベースの位置測定用のシステム100は、全地球測位システム(GPS)ユニットを補足してもよく、または、例えば、より迅速なマッチングを促進するように、開始位置としてGPSを利用してもよい。言い換えると、乗り物が所定の領域にあることが知られている場合、(例えば、位置測定データベース190による)標示検索またはマッチングの範囲は、これに応じて調整されてよい。
図2は、1つまたは複数の実施形態に従った、標示ベースの位置測定のための方法200の例示的な流れ図の図である。方法200は、210で、画像を検出すること、220で、テキストを抽出すること、及び、画像の線分を検出すること、230で、四辺形を検出すること、四辺形マージングまたは四辺形フィルタリングを実行すること、240で、1つまたは複数の四辺形候補から1つまたは複数の標示候補を判定すること、250で、位置測定データベースの参照画像と標示候補を照合すること、ならびに、260で、位置測定を提供すること、を含んでよい。
以下の図面の1つまたは複数は、1つまたは複数の他の図面の1つまたは複数の構成要素を参照して説明されてよい。例えば、図3〜図6は、標示ベースの位置測定用のシステム100に従った図1の構成要素の1つまたは複数に関して説明されてよい。図3A〜図3Bは、1つまたは複数の実施形態に従った、画像300からの例示的なテキスト抽出350の図である。図3Aにおいて、画像300は、標示ベースの位置測定用のシステム100のセンサ構成要素110などを介して取込まれてよい。ここで、画像は、標示310A及び312Aなどの1つまたは複数の標示を含んでよい。標示310A及び312Aは、それぞれテキスト320A及び322Aを含んでよい。抽出構成要素120は、テキスト320A及び322Aを特定または抽出してよく、候補構成要素140は、テキスト320A及び322Aをテキスト候補として特定してよい。図3Bは、(例えば、標示310A及び312Aの)320B及び322Bを含む抽出されたテキスト350の例示的なグラフ表示の図である。一実施例として、抽出構成要素120は、ストローク幅変換(SWT)に基づいてテキスト320B及び322Bを検出または抽出してよい。他の実施形態において、光学文字認識(OCR)が利用されてもよい。
図4A〜図4Bは、1つまたは複数の実施形態に従った、画像400からの例示的な四辺形検出450の図である。抽出構成要素120は、線分を検出してよく、または、画像400上の線分検出を実行してよい。図4Aにおいて、画像400は、第1の標示410Aと関連する線分、第2の標示412Aと関連する線分、他の線分430A(線分全てに番号が付けられているのではない)を含め、複数の線分として分割または分析されてよい。画像400はまた、それぞれ第1の標示410A及び第2の標示412Aと関連するテキスト420A及び422Aを含んでもよい。
図4Bは、線分フィルタリングが、候補構成要素140または抽出構成要素120により実行されてよい画像の図である。さらに、抽出構成要素120は、画像内の1つまたは複数の四辺形を検出してよく、または、四辺形検出450を実行してよい。ここで、図4Bにおいて、線分430Bは、交点が発見されないので、候補構成要素140により排除されてよい。標示410B及び412Bと関連する線分は、抽出構成要素120により、交点440Bを有するように発見される。抽出構成要素120は、標示410Bまたは412Bの線分の1つまたは複数、または、それらと関連する交点の1つまたは複数の周辺に、バウンディングボックス(図示せず)を配置してよい。このように、抽出構成要素120は、1つまたは複数の四辺形候補を判定してよい。
図5A〜図5Bは、1つまたは複数の実施形態に従った、画像からの例示的な四辺形フィルタリング500及び四辺形マージング550の図である。図5Aにおいて、候補構成要素140は、判定される四辺形候補510A、512A、534A、及び532Aの間で1つまたは複数の四辺形候補をフィルタ処理してよい。四辺形候補は、交点540Aを検出するためのコーナー検出を使用して判定されてよい。四辺形を形成しない、または十分な交点を有さない530Aでの線分は排除されてよく、それゆえ、四辺形候補として考慮されなくてよい。抽出構成要素120は、図5Aから四辺形候補510A及び512Aを、図5Bにおける四辺形候補510Bとなるように、マージしてよい。このように、四辺形候補510B、532B、及び534Bが図5Bに残る。候補構成要素140または抽出構成要素120は、1つまたは複数のテキスト候補への距離がテキスト候補への距離の閾値内にない四辺形候補を削除することにより、さらなるフィルタリングまたは候補選択を実行してよい。例えば、テキスト520A及び522Aが、四辺形候補510A及び512Aと関連し、且つ、四辺形候補510Bが四辺形候補510A及び512Aからマージまたは形成されるので、四辺形候補510Bは、それぞれのテキスト520A及び522Aと関連する。図5Bにおいて、四辺形候補532B及び534Bは、いずれのテキスト候補とも関連しないか、またはいずれのテキスト候補も含まない。それゆえ、候補構成要素140は、四辺形候補532B及び534Bを考察からフィルタ処理または削除してよく、これにより、図5Bの画像から、四辺形候補として510Bが単に考慮される。
図6Aは、1つまたは複数の実施形態に従った、画像600の例示的な最大安定極値領域(MSER)特徴量の図である。ここで、マージされた四辺形候補610Aは、最大安定極値領域(MSER)特徴量に分割または関連してよいテキスト620Aを含んでよい。他のMSER特徴量630Aが、画像600内に存在してもよい。しかし、抽出構成要素120または候補構成要素140は、610Aを、テキスト620Aとの近接度のために、標示候補として特定してよい。このように、標示候補は、テキスト及び1つまたは複数の四辺形候補と関連してよい。
図6Bは、1つまたは複数の実施形態に従った、取込まれた画像と参照画像との例示的なマッチング650の図である。例えば、標示候補または画像662は、参照画像652に一致される特徴量(例えば、ドット)を有してよい。1つまたは複数の実施形態において、推定上のSIFTマッチングが、このようなマッチングを促進するのに用いられてよい。
例えば、図6Bは、標示ベースの位置測定用のシステム100により実行されてよいマッチングの可視表現である。662に、標示ベースの位置測定用のシステム100により取込まれる画像が示される。652に、位置測定データベース190からのテンプレート画像または参照画像が示される。ここで、通信構成要素130は、画像662と652との推定上のマッチングを実行してよい。例えば、それぞれの画像662及び652からのテキストまたはテキスト特徴量は、それぞれの画像662及び652から抽出されるスケール不変特徴量変換(SIFT)特徴量を用いて比較されてよい。652の特徴量は、マッピング構成要素192により判定または事前判定されてよく、標示候補画像662の特徴量は抽出構成要素120により抽出されてよい。
図6Cは、1つまたは複数の実施形態に従った、透視n点(PnP)アルゴリズムに基づく例示的な位置測定690の図である。例えば、位置測定構成要素150は、3D−2D点対応のセットに基づく透視n点(PnP)アルゴリズムに基づいて、乗り物の現在の位置、場所、姿勢、または座標を算出してよい。これは、例えば、(PnP)ソルバーモジュールまたはPnPユニット若しくは構成要素として、システムにおいて実施されてよい。
さらに別の実施形態は、本明細書において提示される技法の1つまたは複数の実施形態を実施するように構成されるプロセッサにより実行可能な命令を備えるコンピュータ可読媒体を含む。これらの方法で考え出されるコンピュータ可読媒体またはコンピュータ可読デバイスの実施形態が図7に示してあり、実施態様700は、CD−R、DVD−R、フラッシュドライブ、ハードディスクドライブのプラッタ等などのコンピュータ可読媒体708を含み、当該媒体上でコンピュータ可読データ706が符号化される。706に示した複数のゼロ及び1を含むバイナリデータなどのこのコンピュータ可読データ706は、本明細書において明記される原則の1つまたは複数に従って動作するように構成されるコンピュータ命令704のセットを含む。1つのこのような実施形態700において、プロセッサにより実行可能なコンピュータ命令704は、図2の方法200などの方法702を実行するように構成されてよい。別の実施形態において、プロセッサにより実行可能な命令704は、図1のシステム100などのシステムを実施するように構成されてよい。本明細書において提示される技法と関連して動作するように構成される多くのこのようなコンピュータ可読媒体が、当業者によって考え出されてよい。
本願において使用されるように、「component」、「module」、「system」、「interface」等の用語は、概して、コンピュータに関連するエンティティ、すなわち、ハードウェア、ハードウェアとソフトウェアの組合せ、ソフトウェア、または、実行中のソフトウェアのいずれかを指すことが意図される。例えば、構成要素は、これに限定されるのではないが、プロセッサ上でのプロセス実行、プロセッサ、オブジェクト、実行ファイル、実行のスレッド、プログラム、またはコンピュータであってよい。実例として、コントローラ上でのアプリケーション実行と当該コントローラとの両方が、構成要素であってよい。プロセスまたは実行のスレッド内に常駐する1つまたは複数の構成要素、及び構成要素は、1つのコンピュータにローカライズされてもよく、または2つまたはそれ以上のコンピュータ間で分配されてもよい。
さらに、請求される主題は、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組合せを製造して、開示される主題を実施するためにコンピュータを制御するように、標準的なプログラミングまたは工学技法を使用して、方法、装置、または製品として実施される。本明細書において使用される「article of manufacture」という用語は、任意のコンピュータ可読デバイス、キャリア、または媒体からアクセス可能なコンピュータプログラムを包含するように意図される。当然、請求される主題の範囲または精神から逸脱することなく、この構成に対して多くの修正が成されてもよい。
図8及び以下の記述は、本明細書において明記される提供物の1つまたは複数の実施形態を実施するために、適切なコンピューティング環境の説明を提供するものである。図8の動作環境は、適切な動作環境の1つの実施例に過ぎず、こうした動作環境の使用または機能の範囲に関していずれの制限を提示することを意図しない。例示的なコンピューティングデバイスには、これに限定されるのではないが、パーソナルコンピュータ、サーバコンピュータ、携帯用またはラップトップデバイス、携帯電話、パーソナルデジタルアシスタント(PDA)、メディアプレーヤ等などのモバイルデバイス、マルチプロセッサシステム、家電、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたはデバイスの任意のものを含む分散型コンピューティング環境等が含まれる。
概して、実施形態が、「コンピュータ可読命令」は1つまたは複数のコンピューティングデバイスにより実行される、という一般的な文脈において説明される。コンピュータ可読命令は、以下で述べるように、コンピュータ可読媒体を介して分散されてよい。コンピュータ可読命令は、1つまたは複数のタスクを実行し、または、1つまたは複数の抽象データ型を実施する、ファンクション、オブジェクト、アプリケーションプログラミングインターフェース(API)、データ構造等などのプログラムモジュールとして実施されてよい。通常、コンピュータ可読命令の機能は、様々な環境において所望により結合または分散される。
図8は、本明細書において提供される1つまたは複数の実施形態を実施するように構成されるコンピューティングデバイス812を含むシステム800を示す。1つの構成において、コンピューティングデバイス812は、少なくとも1つの処理ユニット816及びメモリ818を含む。厳密な構成及びコンピューティングデバイスのタイプに応じて、メモリ818は、RAMなどの揮発性、ROM、フラッシュメモリ等などの不揮発性、またはこれら2つの組合せであってよい。この構成が、図8において破線814によって示してある。
他の実施形態において、デバイス812は、追加の特徴または機能を含む。例えば、デバイス812は、これに限定されるのではないが、磁気記憶装置、光学記憶装置等を含め、取外し可能な記憶装置または取外しできない記憶装置などの追加の記憶装置を含んでもよい。このような追加の記憶装置が、図8において記憶装置820によって示してある。1つまたは複数の実施形態において、本明細書において提供される1つまたは複数の実施形態を実施するコンピュータ可読命令は、記憶装置820内にある。記憶装置820は、オペレーティングシステム、アプリケーションプログラム等を実施するように、他のコンピュータ可読命令を記憶してもよい。コンピュータ可読命令は、例えば、処理ユニット816による実行のためにメモリ818に読み込まれてよい。
本明細書において使用される「computer readable media」という用語は、コンピュータ記憶媒体を含む。コンピュータ記憶媒体は、コンピュータ可読命令または他のデータなどの情報の記憶のために、任意の方法また技術で実施される、揮発性及び不揮発性、取り外し可能及び取外しできない媒体を含む。メモリ818及び記憶装置820は、コンピュータ記憶媒体の実施例である。コンピュータ記憶媒体には、これに限定されるのではないが、RAM、ROM、EEPROM、フラッシュメモリ、または他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)、または他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置若しくは他の磁気記憶デバイス、または、所望の情報を記憶するのに使用されてよく、且つ、デバイス812によりアクセスされてよい、任意の他の媒体が含まれる。任意のこのようなコンピュータ記憶媒体がデバイス812の一部である。
「computer readable media」という用語は、通信媒体を含む。通信媒体は、通常、搬送波または他の移送機構などの「変調されたデータ信号」において、コンピュータ可読命令または他のデータを具体化し、また、任意の情報伝達媒体を含む。「modulated data signal」という用語は、その特性集合の1つまたは複数を有する信号、または、当該信号において情報を符号化するようなやり方で変化される信号を含む。
デバイス812は、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイス、赤外線カメラ、ビデオ入力デバイス、または任意の他の入力デバイスなどのデバイス824を含む。1つまたは複数のディスプレイ、スピーカ、プリンタ、または任意の他の出力デバイスなどの出力デバイス822が、デバイス812に含まれてもよい。入力デバイス824及び出力デバイス822は、有線接続、無線接続、またはそれらの任意の組合せを介してデバイス812に接続されてよい。1つまたは複数の実施形態において、別のコンピューティングデバイスからの入力デバイスまたは出力デバイスが、コンピューティングデバイス812のための入力デバイス824または出力デバイス822として使用されてもよい。デバイス812は、1つまたは複数の他のデバイスとの通信を促進するように、通信接続826を含んでもよい。
主題が、構造的特徴または方法論的行為に特有の言葉で説明されたが、添付の特許請求の範囲の主題が、上述の特定の特徴または行為に必ずしも限定されないことを理解すべきである。むしろ、上述の特定の特徴及び行為は、例示的な実施形態として開示される。
実施形態の様々な動作が、本明細書において提供される。動作の1つまたは複数、または全てを記載した順序は、これらの動作が必ず順序に依存するものであることを示すと解釈すべきでない。代替的な順序が、この説明に基づいて理解されよう。さらに、全ての動作が、本明細書における実施形態において必ずしも提供されなくてもよい。
本願において使用されるように、「or」は、排他的な「or」ではなく、包括的な「or」を意味することが意図される。さらに、包括的な「or」は、その任意の組合せ(例えば、A、B、またはそれらの任意の組合せ)を含んでよい。さらに、本願において使用される「a」及び「an」は、特に断りがない限り、または、単数形を対象とすることが文脈から明らかでない限り、概して「1つまたは複数」を意味する解釈される。さらに、A及びB、及び/またはこれらに類似するものの少なくとも1つは、概して、A若しくはBまたはAとBの両方を意味する。さらに、「includes」、「having」、「has」、「with」、またはそれらの変形が、詳細な説明または特許請求の範囲のいずれかにおいて使用される場合、このような用語は、「comprising」という用語と同様に包括的であることが意図される。
さらに、特に断りのない限り「第1」、「第2」、またはこれらに類似するものは、時間的態様、空間的態様、順序等を意味することは意図されない。むしろ、このような用語は、特徴、要素、項目等のための識別子、名称等として使用されるに過ぎない。例えば、第1のチャンネル及び第2のチャンネルは、概して、チャンネルA及びチャンネルB、または2つの別々の、若しくは、2つの同一のチャンネル、または、同じチャンネルに対応する。さらに、「comprising」、「comprises」、「including」、「includes」、またはこれらに類似するものは、概して、「comprising」または「including」を意味するが、これらに限定されない。
様々な上記で開示した、及び他の特徴及び機能、またはそれらの代替物若しくは変種が、多くの他の異なるシステムまたはアプリケーションに望ましく結合されてよいことが理解されよう。また、それらにおいて、様々な現在予測されていない、若しくは思いがけない代替物、修正形態、変形形態、または改良物が、後に当業者に作成されてよく、それらはやはり、以下の特許請求の範囲により包含されることが意図される。

Claims (20)

  1. 標示ベースの位置測定用のシステムであって、
    乗り物に搭載され、前記乗り物周辺の動作環境の画像を取込む、センサ構成要素と、
    抽出構成要素であって、
    前記画像からそれぞれが複数の点を有する1つまたは複数のテキスト候補を抽出し、
    前記画像内のそれぞれが複数の点を有する1つまたは複数の線分を検出し、
    近接度とは、テキスト候補の複数の点のうちの1つの点から、検出した線分の複数の点のうちの1つの点との距離を定義したものであって、前記検出した線分の前記複数の点のうちの2つの点の前記抽出したテキスト候補の前記複数の点のうちの1つの点との近接度に基づいて1つまたは複数の前記検出した線分をフィルタ処理することによって、前記2つの点の近接度が閾値より短い1つまたは複数のフィルタ処理された線分を選択し、
    前記抽出したテキスト候補の1つまたは複数、前記フィルタ処理した線分の1つまたは複数、及び、それぞれの線分の1つまたは複数の交点に基づいて、1つまたは複数の四辺形候補を規定する、前記抽出構成要素と、
    前記四辺形候補の1つまたは複数及び前記抽出したテキスト候補の1つまたは複数に基づいて、前記画像のための1つまたは複数の標示候補を判定する、候補構成要素と、
    位置測定データベースと通信し、前記標示候補の1つまたは複数を、位置測定データベースに記憶された1つまたは複数の参照画像と照合する、通信構成要素と、
    前記標示候補の1つまたは複数と、前記参照画像の1つまたは複数との一致に基づいて、前記乗り物の位置を判定する、位置測定構成要素と
    を含む、システム。
  2. 前記抽出構成要素が、ストローク幅変換(SWT)に基づいて、前記テキスト候補の1つまたは複数を抽出する、請求項1に記載のシステム。
  3. 前記候補構成要素が、グラウンド面に基づいて、前記四辺形候補の1つまたは複数をフィルタ処理する、請求項1に記載のシステム。
  4. 前記抽出構成要素が、前記標示候補の1つまたは複数から、1つまたは複数のスケール不変特徴量変換(SIFT)特徴量を抽出する、請求項1に記載のシステム。
  5. 前記候補構成要素が、それぞれの標示候補と関連するスケール不変特徴量変換(SIFT)特徴量の数に基づいて、前記標示候補の1つまたは複数をフィルタ処理する、請求項1に記載のシステム。
  6. 前記抽出構成要素が、線分長さ基準に基づいて、前記線分の1つまたは複数をフィルタ処理する、請求項1に記載のシステム。
  7. 前記候補構成要素が、垂直の許容範囲または水平の許容範囲に基づいて、1つまたは複数の線分をフィルタ処理する、請求項1に記載のシステム。
  8. 前記抽出構成要素が、互いから離れた、閾値近接度よりも低い終点を有する2つまたはそれ以上の同一線上の線分に基づいて、線分連結を実行する、請求項1に記載のシステム。
  9. 前記候補構成要素が、テキスト候補領域の四辺形領域に対する比の閾値に基づいて、前記四辺形候補の1つまたは複数をフィルタ処理する、請求項1に記載のシステム。
  10. 前記候補構成要素が、それぞれの標示候補と関連する最大安定極値領域(MSER)特徴量の数に基づいて、前記標示候補の1つまたは複数をフィルタ処理する、請求項1に記載のシステム。
  11. 前記通信構成要素が、推定上のスケール不変特徴量変換(SIFT)マッチングに基づいて、前記標示候補の1つまたは複数を、前記参照画像の1つまたは複数と照合する、請求項1に記載のシステム。
  12. 前記通信構成要素が、ホモグラフィベースのランダムサンプルコンセンサス(RANSAC)に基づいて、前記標示候補の1つまたは複数と1つまたは複数の参照画像との前記照合において1つまたは複数の外れ値を削除する、請求項1に記載のシステム。
  13. 前記位置測定構成要素が、透視n点(PnP)ソルバーモジュールを使用して、前記乗り物の前記位置を判定する、請求項1に記載のシステム。
  14. 前記乗り物の前記位置に基づいて、1つまたは複数のナビゲーション命令を生成する、ナビゲーション構成要素を含む、請求項1に記載のシステム。
  15. 標示ベースの位置測定用の方法であって、
    乗り物に搭載されたセンサ構成要素によって乗り物周辺の動作環境の画像を取込むことと、
    前記画像から、それぞれが複数の点を有する1つまたは複数のテキスト候補を抽出することと、
    前記画像内のそれぞれが複数の点を有する1つまたは複数の線分を検出することと、
    近接度とは、テキスト候補の複数の点のうちの1つの点から、検出した線分の複数の点のうちの1つの点との距離を定義したものであって、前記検出した線分の前記複数の点のうちの2つの点の前記抽出したテキスト候補の前記複数の点のうちの1つの点との近接度に基づいて1つまたは複数の前記検出した線分をフィルタ処理することによって、前記2つの点の近接度が閾値より短い1つまたは複数のフィルタ処理された線分を選択することと、
    前記抽出したテキスト候補の1つまたは複数、前記フィルタ処理した線分の1つまたは複数、及び、それぞれの線分の1つまたは複数の交点に基づいて、前記画像における1つまたは複数の四辺形候補を規定することと、
    前記取り込まれた画像に存在する前記四辺形候補のうち、前記テキスト候補に対応する領域と四辺形候補の領域との領域比に基づいて1つまたは複数の四辺形候補をフィルタ処理することと、
    前記四辺形候補の1つまたは複数及び前記抽出したテキスト候補の1つまたは複数に基づいて、前記画像のための1つまたは複数の標示候補を判定することと、
    位置測定データベースと通信し、前記標示候補の1つまたは複数を、前記位置測定データベースに記憶された1つまたは複数の参照画像と照合することと、
    前記標示候補の1つまたは複数と前記参照画像の1つまたは複数との一致に基づいて、前記乗り物の位置を判定すること
    を含む、方法。
  16. ストローク幅変換に基づいて、前記テキスト候補の1つまたは複数を抽出することを含む、請求項15に記載の方法。
  17. 前記標示候補の1つまたは複数から、1つまたは複数のスケール不変特徴量変換(SIFT)特徴量を抽出すること、
    それぞれの標示候補と関連するSIFT特徴量の数に基づいて、前記標示候補の1つまたは複数をフィルタ処理すること
    を含む、請求項15に記載の方法。
  18. 線分長さ基準に基づいて、前記線分の1つまたは複数をフィルタ処理することを含む、請求項15に記載の方法。
  19. それぞれの標示候補と関連する最大安定極値領域(MSER)特徴量の数に基づいて、前記標示候補の1つまたは複数をフィルタ処理することを含む、請求項15に記載の方法。
  20. 標示ベースの位置測定用のシステムであって、
    乗り物に搭載され、前記乗り物周辺の動作環境の画像を取込む、センサ構成要素と、
    抽出構成要素であって、
    前記画像から、それぞれが複数の点を有する1つまたは複数のテキスト候補を抽出し、
    前記画像内の、それぞれが複数の点を有する1つまたは複数の線分を検出し、
    近接度とは、テキスト候補の複数の点のうちの1つの点から、検出した線分の複数の点のうちの1つの点との距離を定義したものであって、前記検出した線分の前記複数の点のうちの2つの点の前記抽出したテキスト候補の前記複数の点のうちの1つの点との近接度に基づいて1つまたは複数の前記検出した線分をフィルタ処理することによって、前記2つの点の近接度が閾値より短い1つまたは複数のフィルタ処理された線分を選択し、
    前記抽出したテキスト候補の1つまたは複数、前記フィルタ処理した線分の1つまたは複数、及び、それぞれの線分の交点の1つまたは複数に基づいて、1つまたは複数の四辺形候補を規定する、前記抽出構成要素と、
    前記四辺形候補の1つまたは複数及び前記抽出したテキスト候補の1つまたは複数に基づいて、前記画像のための1つまたは複数の標示候補を判定する、候補構成要素と、
    位置測定データベースと通信し、推定上のスケール不変特徴量変換(SIFT)マッチングに基づいて、前記標示候補の1つまたは複数を、前記位置測定データベースに記憶された1つまたは複数の参照画像と照合する、通信構成要素と、
    前記標示候補の1つまたは複数と前記参照画像の1つまたは複数との一致に基づいて、前記乗り物の位置を判定する、位置測定構成要素と
    を含むシステムであり、
    前記四辺形候補の1つまたは複数が前記抽出したテキスト候補を1つも含まない場合、前記候補構成要素は前記四辺形候補の前記1つまたは複数を削除すること
    を特徴とするシステム。
JP2016145373A 2015-08-11 2016-07-25 標示ベースの位置測定 Active JP6822797B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/822,951 US10395126B2 (en) 2015-08-11 2015-08-11 Sign based localization
US14/822,951 2015-08-11

Publications (3)

Publication Number Publication Date
JP2017054494A JP2017054494A (ja) 2017-03-16
JP2017054494A5 JP2017054494A5 (ja) 2020-10-08
JP6822797B2 true JP6822797B2 (ja) 2021-01-27

Family

ID=57908231

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016145373A Active JP6822797B2 (ja) 2015-08-11 2016-07-25 標示ベースの位置測定

Country Status (4)

Country Link
US (1) US10395126B2 (ja)
JP (1) JP6822797B2 (ja)
CN (1) CN106446769B (ja)
DE (1) DE102016214875A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170046891A1 (en) * 2015-08-12 2017-02-16 Tyco Fire & Security Gmbh Systems and methods for location identification and tracking using a camera
DE102016208621A1 (de) * 2016-05-19 2017-11-23 Continental Automotive Gmbh Verfahren zur Verifizierung von Inhalt und Aufstellort von Verkehrszeichen
US10630962B2 (en) 2017-01-04 2020-04-21 Qualcomm Incorporated Systems and methods for object location
US10755136B2 (en) * 2017-05-16 2020-08-25 Nec Corporation Pruning filters for efficient convolutional neural networks for image recognition in vehicles
CN107688806B (zh) * 2017-08-21 2021-04-20 西北工业大学 一种基于仿射变换的自由场景文本检测方法
US10621453B2 (en) * 2017-11-30 2020-04-14 Wipro Limited Method and system for determining relationship among text segments in signboards for navigating autonomous vehicles
KR102333033B1 (ko) * 2017-12-07 2021-12-01 삼성전자주식회사 차량 및 그 제어 방법
CN107944425A (zh) * 2017-12-12 2018-04-20 北京小米移动软件有限公司 道路标志的识别方法和装置
US10460185B2 (en) 2018-01-30 2019-10-29 Toyota Motor Engineering & Manufacturing North America, Inc. Roadside image tracking system
CN108303721B (zh) * 2018-02-12 2020-04-03 北京经纬恒润科技有限公司 一种车辆定位方法及系统
US11293769B2 (en) * 2018-05-14 2022-04-05 Qualcomm Incorporated Techniques for route selection
JP7088136B2 (ja) * 2018-08-31 2022-06-21 株式会社デンソー 標示物認識システム及び標示物認識方法
US10650548B1 (en) * 2019-01-30 2020-05-12 StradVision, Inc. Method and device for localization of autonomous vehicle for route planning by using attention-driven landmark detection
US10885666B2 (en) * 2019-02-06 2021-01-05 Ford Global Technologies, Llc Hybrid metric-topological camera-based localization
GB2622490A (en) * 2019-02-14 2024-03-20 Mobileye Vision Technologies Ltd Systems and methods for vehicle navigation
KR102226843B1 (ko) * 2019-02-26 2021-03-12 주식회사 핀그램 오브젝트 검출 시스템 및 그 방법
US10930011B2 (en) * 2019-07-02 2021-02-23 Billups, Inc. Digital image processing system for object location and facing
CN112348875B (zh) * 2019-08-08 2024-04-16 北京地平线机器人技术研发有限公司 一种标志杆的结构化参数表示确定方法及装置
CN112348874B (zh) * 2019-08-08 2024-05-14 北京地平线机器人技术研发有限公司 一种车道线的结构化参数表示确定方法及装置
CN112784174A (zh) * 2019-11-08 2021-05-11 华为技术有限公司 确定位姿的方法、装置和系统
DE102020206239B4 (de) * 2020-05-18 2022-09-29 Volkswagen Aktiengesellschaft Verfahren und System zum Bestimmen einer Eigenposition eines Kraftfahrzeugs sowie ein mit einem solchen System ausgerüstetes Kraftfahrzeug
CN113932820A (zh) * 2020-06-29 2022-01-14 杭州海康威视数字技术股份有限公司 对象检测的方法和装置
US20220179857A1 (en) * 2020-12-09 2022-06-09 Here Global B.V. Method, apparatus, and system for providing a context-aware location representation
CN113420661A (zh) * 2021-06-23 2021-09-21 杭州海康威视数字技术股份有限公司 一种位姿确定方法、装置及设备
CN115229804B (zh) * 2022-09-21 2023-02-17 荣耀终端有限公司 组件贴合方法和装置
CN116350352B (zh) * 2023-02-23 2023-10-20 北京纳通医用机器人科技有限公司 手术机器人标志位识别定位方法、装置及设备

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5844505A (en) 1997-04-01 1998-12-01 Sony Corporation Automobile navigation system
DE19743705C1 (de) 1997-10-02 1998-12-17 Ibs Integrierte Business Syste Verfahren zum Sammeln und Verknüpfen von Positionsdaten aus Satellitenortung und weiteren Daten sowie Verwendungen dafür
US20030202683A1 (en) 2002-04-30 2003-10-30 Yue Ma Vehicle navigation system that automatically translates roadside signs and objects
US7321305B2 (en) 2005-07-05 2008-01-22 Pinc Solutions Systems and methods for determining a location of an object
DE102006062061B4 (de) 2006-12-29 2010-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Verfahren und Computerprogramm zum Bestimmen einer Position basierend auf einem Kamerabild von einer Kamera
US20100092093A1 (en) * 2007-02-13 2010-04-15 Olympus Corporation Feature matching method
US8131118B1 (en) 2008-01-31 2012-03-06 Google Inc. Inferring locations from an image
GB2458278A (en) * 2008-03-11 2009-09-16 Geoffrey Cross A method of recognising signs in images taken from video data
US9129163B2 (en) * 2009-06-24 2015-09-08 Here Global B.V. Detecting common geographic features in images based on invariant components
US8374390B2 (en) * 2009-06-24 2013-02-12 Navteq B.V. Generating a graphic model of a geographic object and systems thereof
US8509488B1 (en) 2010-02-24 2013-08-13 Qualcomm Incorporated Image-aided positioning and navigation system
JP5675194B2 (ja) * 2010-07-15 2015-02-25 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US8768012B2 (en) 2010-11-24 2014-07-01 Denso Corporation Road estimation device and method for estimating road
JP5557036B2 (ja) * 2010-12-03 2014-07-23 アイシン・エィ・ダブリュ株式会社 退出判定装置、退出判定プログラム及び退出判定方法
JP5714940B2 (ja) * 2011-03-04 2015-05-07 国立大学法人 熊本大学 移動体位置測定装置
US9253607B2 (en) 2011-12-16 2016-02-02 Maxlinear, Inc. Method and system for location determination and navigation using textual information
JP2013242763A (ja) * 2012-05-22 2013-12-05 Clarion Co Ltd 対話装置、対話システム、および対話制御方法
JP2014102669A (ja) * 2012-11-20 2014-06-05 Toshiba Corp 情報処理装置、情報処理方法およびプログラム
WO2014136327A1 (ja) * 2013-03-06 2014-09-12 楽天株式会社 画像処理システム、画像処理方法、および画像処理プログラム
JP6201488B2 (ja) * 2013-07-29 2017-09-27 富士通株式会社 選択文字特定プログラム、選択文字特定方法、及び、選択文字特定装置
JP6303362B2 (ja) * 2013-09-27 2018-04-04 日産自動車株式会社 マップマッチング装置及びこれを備えたナビゲーション装置
US9395192B1 (en) * 2013-12-20 2016-07-19 Google Inc. Methods and systems for road and lane boundary tracing
KR101830249B1 (ko) * 2014-03-20 2018-03-29 한국전자통신연구원 이동체의 위치 인식 장치 및 방법

Also Published As

Publication number Publication date
CN106446769B (zh) 2021-09-28
US20170046580A1 (en) 2017-02-16
DE102016214875A1 (de) 2017-02-16
US10395126B2 (en) 2019-08-27
JP2017054494A (ja) 2017-03-16
CN106446769A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
JP6822797B2 (ja) 標示ベースの位置測定
JP2017054494A5 (ja)
Yenikaya et al. Keeping the vehicle on the road: A survey on on-road lane detection systems
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
Toulminet et al. Vehicle detection by means of stereo vision-based obstacles features extraction and monocular pattern analysis
Chen et al. Automatically conflating road vector data with orthoimagery
JP4632987B2 (ja) 道路画像解析装置及び道路画像解析方法
JP5385105B2 (ja) 画像検索方法およびシステム
JP4985166B2 (ja) 自己位置推定装置
JP2016081525A (ja) 車両用画像認識システム、及び対応法
EP2779025A2 (en) Method and system for detecting road edge
US20100328462A1 (en) Detecting Common Geographic Features in Images Based on Invariant Components
Ding et al. Fast lane detection based on bird’s eye view and improved random sample consensus algorithm
JP4517003B2 (ja) 道路標識自動認識システム
Schlichting et al. Vehicle localization by lidar point correlation improved by change detection
Chen et al. A precise information extraction algorithm for lane lines
TWI682361B (zh) 路面影像重建與載具定位之方法與系統
Hazelhoff et al. Exploiting street-level panoramic images for large-scale automated surveying of traffic signs
Börcs et al. A model-based approach for fast vehicle detection in continuously streamed urban LIDAR point clouds
JP2016162130A (ja) 横断歩道検出装置、横断歩道検出方法及び横断歩道検出用コンピュータプログラム
CN112101139B (zh) 人形检测方法、装置、设备及存储介质
Seo Augmenting cartographic resources and assessing roadway state for vehicle navigation
Hazelhoff et al. Exploiting automatically generated databases of traffic signs and road markings for contextual co-occurrence analysis
Rawashdeh et al. Scene Structure Classification as Preprocessing for Feature-Based Visual Odometry
Manoharan et al. Autonomous lane detection on hilly terrain for perception-based navigation applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200428

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200625

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20200825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210107

R150 Certificate of patent or registration of utility model

Ref document number: 6822797

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150