JP7383659B2 - ナビゲーションターゲットのマーク方法および装置、電子設備、コンピュータ可読媒体 - Google Patents

ナビゲーションターゲットのマーク方法および装置、電子設備、コンピュータ可読媒体 Download PDF

Info

Publication number
JP7383659B2
JP7383659B2 JP2021040979A JP2021040979A JP7383659B2 JP 7383659 B2 JP7383659 B2 JP 7383659B2 JP 2021040979 A JP2021040979 A JP 2021040979A JP 2021040979 A JP2021040979 A JP 2021040979A JP 7383659 B2 JP7383659 B2 JP 7383659B2
Authority
JP
Japan
Prior art keywords
mark
target
point
image
intersection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021040979A
Other languages
English (en)
Other versions
JP2021108137A (ja
Inventor
ビン・リ
ジーポン・ジョウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Connectivity Beijing Technology Co Ltd filed Critical Apollo Intelligent Connectivity Beijing Technology Co Ltd
Publication of JP2021108137A publication Critical patent/JP2021108137A/ja
Application granted granted Critical
Publication of JP7383659B2 publication Critical patent/JP7383659B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3667Display of a road map
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3667Display of a road map
    • G01C21/367Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof

Description

本公開の実施例は拡張現実ナビゲーションの技術分野に関するものであり、特にナビゲーションターゲットのマーク方法および装置、電子設備、コンピュータ可読記憶媒体およびコンピュータプログラム製品に関するものである。
拡張現実(Augmented Reality、ARと略称する)はヴァーチュアルリアリティを基に開発された新しい技術であり、コンピュータシステムが提供する情報によりユーザの現実世界への感知を高める技術であり、仮想の情報を実世界に応用し、コンピュータが生成した仮想物体、シーンまたはシステムの提示情報を現実のシーンに重畳することで、現実への拡張を実現する。
現実を拡張するナビゲーションにおいて、ARナビゲーションデータに対して検出、マークを行う必要があり、例えば前方の車両、歩行者、道路標識等の情報をマークする。手動マークは通常のマーク方式であり、このマーク方式は処理効率が低く、大量の人件費が必要となる。また、データ量の増加に伴い、間違う確率が増加し、視力等の健康状況に大きな影響を与える。
本公開の実施例はナビゲーションターゲットのマーク方法および装置、電子設備、コンピュータ可読記憶媒体およびコンピュータプログラム製品を提供する。
一つ目の態様において、本公開の実施例は、
マーク画像を取得するステップと、
マーク対象に基づいて前記マーク画像におけるマーク領域を縮小するステップと、
前記マーク対象とこれに対応する前記マーク領域に基づいて前記マーク対象にマッチングするマーク処理モデルを作成するステップと、を含み、
前記マーク処理モデルは前記マーク画像におけるマーク領域を縮小するものである
ナビゲーションターゲットのマーク方法を提供する。
一部の実施例において、マーク対象に基づいて前記マーク画像におけるマーク領域を縮小する前記ステップは、
前記マーク画像における消点を確定するステップと、
前記消点と前記マーク対象に基づいて最低マーク点と最高マーク点を確定するステップと、
前記最低マーク点と前記最高マーク点により囲まれた密閉領域を前記マーク領域として確定するステップと、を含む。
一部の実施例において、前記消点とマーク対象に基づいて最低マーク点と最高マーク点を確定する前記ステップは、
前記マーク対象が車両である時、前記最低マーク点は、前記マーク画像の底辺が左側の辺と交叉する第1交差点、および底辺が右側の辺と交差する第2交差点を含み、前記最高マーク点は、前記消点と前記第1交差点との連続線が遠端線と交差する第3交差点、および前記消点と前記第2交差点との連続線が前記遠端線と交差する第4交差点を含み、前記遠端線は、前記マーク画像の底辺と平行であり、前記マーク画像の底辺との距離が予め設定された線であることを含む。
一部の実施例において、前記消点とマーク対象に基づいて最低マーク点と最高マーク点を確定する前記ステップは、
前記マーク対象が歩行者である時、前記最低マーク点は、前記マーク画像の底辺が左側の辺と交差する第1交差点、および底辺が右側の辺と交差する第2交差点を含み、前記最高マーク点は、高度線が前記マーク画像の左側の辺と交差する第3交差点、および前記高度線が前記マーク画像の右側の辺と交差する第4交差点を含み、前記高度線は、前記消点を通過して地面との距離が予め設定された高さである線であることを含む。
一部の実施例において、前記消点とマーク対象に基づいて最低マーク点と最高マーク点を確定する前記ステップは、
前記マーク対象が交通標識である時、前記最低マーク点は、第1高度線が前記マーク画像の左側の辺と交差する第1交差点、および前記第1高度線が前記マーク画像の右側の辺と交差する第2交差点を含み、前記最高マーク点は、第2高度線が前記マーク画像の左側と交差する第3交差点、第2高度線が前記マーク画像の右側と交差する第4交差点を含み、前記第1高度線は、前記消点を通過して地面との距離が第1の予め設定された高さの線であり、前記第2高度線は、前記消点を通過して地面との距離が第2の予め設定された高さの線であり、前記第1の予め設定された高さは前記第2の予め設定された高さよりも小さいことを含む。
一部の実施例において、前記マーク対象とこれに対応する前記マーク領域に基づいて前記マーク対象にマッチングするマーク処理モデルを作成した前記ステップの後に、
前記マーク処理モデルに基づいて前記マーク領域の熱力学的チャートを取得するステップと、
前記熱力学的チャートに基づいて前記マーク領域の目標をマークするステップと、を含む。
一部の実施例において、マーク対象に基づいて前記マーク画像におけるマーク領域を縮小する前記ステップの前に、
前記マーク画像における近似画像を排除するステップをさらに含む。
一部の実施例において、マーク対象に基づいて前記マーク画像におけるマーク領域を縮小する前記ステップの前に、
前記マーク画像の所在位置の経緯度情報を取得するステップと、
前記経緯度情報に基づいて前記マーク対象を確定するステップと、を含む。
二つ目の態様において、本公開の実施例は、
マーク画像を取得するための取得モジュールと、
マーク対象に基づいて前記マーク画像におけるマーク領域を縮小するためのマーク領域縮小モジュールと、
前記マーク対象とこれに対応する前記マーク領域に基づいて前記マーク対象にマッチングするマーク処理モデルを作成するマーク処理モデル取得モジュールと、を含み、
前記マーク処理モデルは前記マーク画像におけるマーク領域を縮小するためのものである
ナビゲーションターゲットのマーク装置を提供する。
一部の実施例において、前記マーク領域縮小モジュールは、
前記マーク画像における消点を確定するための消点確定手段と、
前記消点と前記マーク対象に基づいて最低マーク点と最高マーク点を確定するためのマーク点確定手段と、
前記最低マーク点と前記最高マーク点により囲まれた密閉領域を前記マーク領域として確定するためのマーク領域縮小手段と、を含む。
一部の実施例において、前記装置は、
前記マーク画像における近似画像を排除するための近似画像排除モジュールをさらに含む。
一部の実施例において、前記装置は、
前記マーク画像の所在位置の経緯度情報を取得するための経緯度確定モジュールと、
前記経緯度情報に基づいて前記マーク対象を確定するためのマーク対象確定モジュールと、をさらに含む。
三つ目の態様において、本公開の実施例は、
1つまたは複数のプロセッサと、
1つまたは複数のプログラムが記憶されており、前記1つまたは複数のプログラムが前記1つまたは複数のプロセッサに実行されることで、前記1つまたは複数のプロセッサに上記任意のナビゲーションターゲットのマーク方法を実現させるメモリと、
前記プロセッサとメモリとの間に接続され、前記プロセッサとメモリの情報交互を実現するように配置される1つまたは複数のI/Oインターフェースと、を含む
電子設備を提供する。
四つ目の態様において、本公開の実施例は、
コンピュータプログラムが記憶されており、前記コンピュータプログラムはプロセッサに実行される時、上記任意のナビゲーションターゲットのマーク方法を実現する
コンピュータ可読記憶媒体を提供する。
五つ目の態様において、本公開の実施例は、
プロセッサによって実行される時、上記任意のナビゲーションターゲットのマーク方法を実現するコンピュータプログラムを含む、
コンピュータプログラム製品を提供する。
本公開の実施例が提供するナビゲーションターゲットのマーク方法は、マーク画像を取得するステップと、マーク対象に基づいて前記マーク画像におけるマーク領域を縮小するステップと、前記マーク対象とこれに対応する前記マーク領域に基づいて前記マーク対象にマッチングするマーク処理モデルを作成するステップと、を含み、前記マーク処理モデルは前記マーク画像におけるマーク領域を縮小するためのものである。当該マーク方法はマーク画像におけるマーク領域を縮小し、マーク範囲を縮め、マーク効率を向上させ、労働強度を低減し、マーク人員の健康への影響を減らすとともに、マークのエラー率を低減することができる。
図面は本公開の実施例をさらによく理解するために提供され、明細書の一部を構成し、本公開の実施例とともに本公開の説明に用いられるものであって、本公開を制限するものではない。図面を参照しながらより詳しい例示的な実施例について説明することで、以上の内容とその他の特徴とメリットは当業者にとってより自明になる。
図1は、本公開の第1実施例が提供するナビゲーションターゲットのマーク方法のフローチャート図である。 図2は、本公開の第1実施例が提供するナビゲーションターゲットのマーク方法におけるステップ102のフローチャート図である。 図3は、本公開の実施例におけるマーク対象が車両であるマーク概念図である。 図4は、本公開の実施例におけるマーク対象が車両であるマーク概念図である。 図5は、本公開の実施例におけるマーク対象が交通標識であるマーク概念図である。 図6は、本公開の第2実施例が提供するナビゲーションターゲットのマーク方法のフローチャート図である。 図7は、本公開の第3実施例が提供するナビゲーションターゲットのマーク方法のフローチャート図である。 図8は、本公開の第4実施例が提供するナビゲーションターゲットのマーク装置の原理ブロック図である。 図9は、本公開の第4実施例が提供するナビゲーションターゲットのマーク装置におけるマーク領域縮小モジュールの原理ブロック図である。 図10は、本公開の第5実施例が提供するナビゲーションターゲットのマーク装置の原理ブロック図である。 図11は、本公開の第6実施例が提供するナビゲーションターゲットのマーク装置の原理ブロック図である。 図12は、本公開の実施例が提供する電子設備の構成ブロック図である。
具体的な実施の形態
本公開の技術案を当業者がよりよく理解できるように、以下では図面を組み合わせ、本公開が提供するナビゲーションターゲットのマーク方法および装置、電子設備、コンピュータ可読記憶媒体およびコンピュータプログラム製品について詳細に説明する。
後文では図面を参考にして例示的な実施例についてより十分に説明する。前記例示的な実施例は異なる形式で体現することができるが、本文に記載の実施例に限られると解釈すべきではない。むしろこれら実施例を提供する目的は本公開を明瞭、完全にし、当業者が本公開の範囲を十分に理解できるようにするということである。
なお、矛盾しない限り、本公開の各実施例および実施例における各特徴は互いに組み合わせることができる。
例えば、本文で使用する「および/または」という用語は1つまたは複数の挙げられた関連項目の任意とすべての組み合わせを含む。
本文で使用する用語は単に特定の実施例を説明するためのものにすぎず、本公開を制限するものではない。例えば、前後の文で特に明瞭に示さない限り、本文で使用する単数形式の「1つ」と「当該」は複数の形式も含むことを意図する。なお、本明細書では、「含む」および/または「……からなる」という記述を使用する時、前記特徴、全体、ステップ、操作、部材および/または構成要素の存在を指すが、1つまたは複数のそのほかの特徴、全体、ステップ、操作、部材、構成要素および/またはそのグループの存在または追加を排除しない。
特に限定しない限り、本文で使用するすべての用語(技術と科学用語)の意味は当業者が一般的に理解する意味と同一である。なお、本発明が明確に限定しない限り、例えば、常用辞書で限定されている用語は、関連技術および本公開の背景での意味と一致する意味として解釈すべきであり、理想化または過度に形式的な意味として解釈しないものである。
本公開の実施例が提供するナビゲーションターゲットのマーク方法および装置はナビゲーションデータに対して予備処理を行って、手動マークを補助し、マーク効率を向上させ、人件費および健康への影響を低減することができる。
一つ目の態様において、本公開の実施例はナビゲーションターゲットのマーク方法を提供する。当該マーク方法は手動マークを補助することができ、手動マークの範囲を小さくすることで、手動マークの労働強度を低減し、マーク効率を向上させ、マークのエラー率を低減することができる。
図1は本公開の第1実施例が提供するナビゲーションターゲットのマーク方法のフローチャート図である。図1を参照すると、ナビゲーションターゲットのマーク方法は以下のステップを含む。
ステップ101:マーク画像を取得する。
ARナビゲーションの過程では、車両に配置された少なくとも1台のカメラを用いて、現在の運転環境の実景画像、つまり車両周囲の画像をリアルタイムに収集できる。各実景画像はいずれもマーク画像とすることができる。現段階に収集された車両周囲画像には複数のマーク目標が存在する可能性がある。これらマーク目標は異なる類型、例えば、車両、歩行者、交通標識、道路、建築物等の類型に属する。異なる類型のマーク目標は異なる特徴を有するため、マーク画像をマークする前に、異なるマーク類型に対して異なるマーク領域を確定し、異なる方法を用いる必要がある。
ステップ102:マーク対象に基づいてマーク画像におけるマーク領域を縮小する。
本公開の実施例において、異なるマーク対象の、マーク画像における異なる領域での出現率が異なるため、人々が注目するマーク画像の領域も異なる。従って、本公開の実施例はマーク対象に基づいてマーク画像におけるマーク領域を縮小するものである。
例えば、マーク対象が車両である時、車両の、マーク画像の中心領域での出現率は辺縁領域よりも大きい。マーク対象が交通標識である時、交通標識の、マーク画像の辺縁領域での出現率は中心領域よりも大きい。
ステップ103:マーク対象とこれに対応するマーク領域に基づいてマーク対象にマッチングするマーク処理モデルを作成する。
ステップ103において、マーク対象の、マーク画像での出現率および人々の、マーク画像の異なる領域に対する注目度が異なるため、マーク対象とマーク領域には対応関係が存在する。従って、マーク対象とこれに対応するマーク領域に基づいてマーク対象にマッチングするマーク処理モデルを作成する。マーク処理モデルについては後文で紹介する。
本公開の実施例では、マーク対象とマーク領域に基づいて異なるマーク対象に対するマーク処理モデルを作成し、マーク画像におけるマーク領域を縮小することができ、さらには後で手動マークの作業量をさらに低減し、労働強度を減らし、マーク効率を向上させることができる。
図2は、本公開の第1実施例が提供するナビゲーションターゲットのマーク方法におけるステップ102のフローチャート図である。図2に示すように、マーク対象に基づいてマーク画像におけるマーク領域を縮小するステップは以下のステップを含む。
ステップ201:マーク画像における消点を確定する。
現実においては、平行な線が消点に集束可能であることを裸眼で観察でき、これは鉄道の2つのレールが地平線上に収束しているように見えるのと同じである。従って、本公開の実施例における消点は、2本または複数本の平行線が、遠くの地平線(HORIZON LINE)へ伸びて集束するまでの点である。
ステップ201では、マーク画像において消点を確定し、そのうち、マーク画像における消点はハフ変換またはRANSACの方法により検出、確定することができる。例えば、2つの直線をランダムに選択して仮想の消点を作成してから、この仮想の消点を通過する直線の数を計算する。一定数繰返した後、戻り値は、交差する直線数を最大化する消失点である。
ステップ202:消点とマーク対象に基づいて最低マーク点と最高マーク点を確定する。
異なるマーク対象のため、最低マーク点と最高マーク点の位置は異なる。従って、ステップ202では、最低マーク点と最高マーク点によりマーク領域を確定する。
一部の実施例において、マーク画像を撮影する角度は異なり、マーク画像における消点位置は異なるため、ステップ202では、消点とマーク対象により最低マーク点と最高マーク点を確定してから、最低マーク点と最高マーク点によりマーク領域を確定する。
ステップ203では、最低マーク点と最高マーク点により囲まれた密閉領域をマーク領域として確定する。
以下では、異なるマーク対象について、マーク画像における最低マーク点と最高マーク点の確定方式を詳細に紹介する。
図3は、本公開の実施例におけるマーク対象が車両であるマーク概念図である。図3において、観察者またはカメラの角度を座標とし、観察者の左側はマーク画像の左側、観察者の右側はマーク画像の右側、観察者視線の上方(紙面の頂辺)はマーク画像の表側、観察者視線の下方(紙面の底辺)はマーク画像の下側である。
図3に示すように、マーク対象が車両である時、最低マーク点は、マーク画像の底辺(下側辺)が左側の辺と交差する第1交差点A、および底辺が右側の辺と交差する第2交差点Bを含む。最高マーク点は、消点Oと第1交差点Aの連続線OAが遠端線GHと交差する第3交差点G、および消点Oと第2交差点Bの連続線OBが遠端線GHと交差する第4交差点Hを含む。
そのうち、遠端線GHはマーク画像の底辺と平行であり、マーク画像の底辺との距離が予め設定された距離Sである線である。一部の実施例において、予め設定された距離Sは実際の状況に応じて設定することができる。例えば、予め設定された距離Sは20メートル、30メートルまたは50メートルである。予め設定された距離Sのマーク画像での実寸法は従来方法により確定でき、本公開の実施例において限定を行わない。
マーク対象が車両である時、最低マーク点は第1交差点Aと第2交差点Bを含むと理解するのは難しくない。最高マーク点は第3交差点Gと第4交差点Hを含む。従って、マーク領域は、第1交差点A、第2交差点B、第3交差点Gと第4交差点Hにより囲まれた台形のABGH領域である。マーク画像をさらにマークする時、マーク領域ABGH以外のそのほかの領域に対してモザイク処理を行い、マーク領域ABGHのみをマークし、マーク領域を大幅に縮小している。
図4は本公開の実施例におけるマーク対象が車両であるマーク概念図である。図4において、マーク画像の左側、右側、表側と下側は図3の定義と同一であるため、ここでは改めて説明しない。
図4に示すように、マーク対象が歩行者である時、最低マーク点は、マーク画像の底辺が左側の辺と交差する第1交差点A、および底辺が右側の辺と交差する第2交差点Bを含む。最高マーク点は、高度線OCがマーク画像の左側の辺と交差する第3交差点C、および高度線ODがマーク画像の右側の辺と交差する第4交差点Dを含む。
そのうち、高度線OC、ODは消点Oを通過し、地面との距離が予め設定された高さである線である。一部の実施例において、予め設定された高さは実際の状況に応じて設定することができる。例えば、予め設定された高さは1.8メートル、2メートルまたは2.3メートルである。マーク画像において、注目された歩行者はほぼ高度線OC、OD以下である。予め設定された高さの、マーク画像での実寸法は従来の方法により確定でき、本公開の実施例において限定を行わない。
マーク対象が歩行者である時、最低マーク点は第1交差点Aと第2交差点Bを含むと理解するのは難しくない。最高マーク点は第3交差点Cと第4交差点Dを含む。従って、マーク領域は、第1交差点A、第2交差点B、第3交差点Cと第4交差点Dにより囲まれたABCD領域である。マーク画像をさらにマークする時、マーク領域ABCD以外のそのほかの領域に対してモザイク処理を行い、マーク領域ABCDのみをマークし、マーク領域を大幅に縮小している。
図5は本公開の実施例におけるマーク対象が交通標識であるマーク概念図である。図5において、マーク画像の左側、右側、表側と下側は図3の定義と同一であるため、ここでは改めて説明しない。
図5に示すように、マーク対象が交通標識である時、最低マーク点は、第1高度線OEがマーク画像の左側の辺と交差する第1交差点E、および第1高度線OFがマーク画像の右側の辺と交差する第2交差点Fを含み、最高マーク点は、第2高度線OGがマーク画像の辺縁辺と交差する第3交差点G、およびと第2高度線OHがマーク画像の辺縁と交差する第4交差点Hを含む。
そのうち、第1高度線OE、OFは消点Oを通過し、地面との距離が第1の予め設定された高さH1である線、第2高度線OG、OHは消点Oを通過し、地面との距離が第2の予め設定された高さH2である線である。第1の予め設定された高さH1は第2の予め設定された高さH2よりも小さい。一部の実施例において、第1の予め設定された高さH1と第2の予め設定された高さH2は実際の状況に応じて設定することができる。例えば、第1の予め設定された高さH1は1.5メートルであり、第2の予め設定された高さH2は2メートルである。マーク画像において、注目された交通標識はほぼ1.5メートル~2メートルの間である。第1の予め設定された高さH1と第2の予め設定された高さH2の、マーク画像での実寸法は従来の方法により確定でき、本公開の実施例において限定を行わない。
マーク対象が交通標識である時、最低マーク点は第1交差点Eと第2交差点Fを含むと理解するのは難しくない。最高マーク点は第3交差点Gと第4交差点Hを含む。従って、マーク領域は第1交差点E、第2交差点F、第3交差点Gと第4交差点Hにより囲まれたEFGH領域である。マーク画像をさらにマークする時、マーク領域EFGH以外のそのほかの領域に対してモザイク処理を行い、マーク領域EFGHのみをマークし、マーク領域を大幅に縮小している。
説明すべき点は、第3交差点Gはマーク画像の左側の辺にある可能性があり、マーク画像の頂辺(頂側辺)にある可能性もあり、第4交差点Hは、マーク画像の右側の辺にある可能性があり、マーク画像の頂辺にある可能性もあるという点である。第3交差点Gと第4交差点Hがマーク画像の頂辺にある時、第1交差点E、第2交差点F、第3交差点Gと第4交差点Hにより囲まれたEFGH領域をCDEF領域に拡張してもよく、CDEF領域はマーク領域である。
説明すべき点は、以上の三つのマーク領域の選択はいずれも同一の収集環境のデータ集合を一括してカバーすることができ、即ち、同じカメラで収集されたマーク画像はいずれも上記マーク領域の選択に適応し、これによりマーク領域を縮小する。
一部の実施例において、マーク対象とこれに対応するマーク領域に基づいてマーク処理モデルを作成し、マーク処理モデルに基づいてマーク領域の熱力学的チャートを取得し、最後に、熱力学的チャートに基づいてマーク画像におけるマーク領域の目標をマークする。
マーク対象が車両である時、マーク対象とこれに対応するマーク領域に基づいて注意力モデルを作成する。注意力モデルを用いて注意力熱力学的チャートを作成し、熱力学的チャートに基づいてマーク領域の目標をマークする。
例えば、注意力モデルに基づいて注意力熱力学的チャートを作成し、注意力熱力学的チャートはマーク画像をマークするのに有利である。注意力熱力学的チャートにおいて、赤の領域に近づけば近づけるほど、車両の出現可能性が大きく、これによりマークの労働強度を低減することができる。
マーク対象が歩行者である時、歩行者と歩行者マーク領域に基づいて歩行者にマッチングする歩行者マークモデルを作成する。
方向勾配ヒストグラム(Histogram of Oriented Gradient、HOGと略称する)によりサポートベクトルマシン(Support Vector Machine、SVMと略称する)モデルを組み合わせて歩行者を予めマークする。具体的に、1000個のポジティブサンプルと1000個のネガティブサンプルを用いてトレーニングサンプルとし、特徴抽出を行い、サンプルのHOG特徴を計算し、最後にHOG特徴をSVM入力としてモデルトレーニングを行い、歩行者マークモデルを取得する。
マーク対象が交通標識である時、色モデルに基づいて交通標識モデルを生成し、即ち、色と形状に基づいて交通標識の類型を識別する。例えば、赤い円は禁止類の交通標識、黄色の三角形は警告類の交通標識、青い矩形は指示類の交通標識である。具体的には、カラーモデル(Hue, Saturation, Value、HSVと略称する)により赤、黄、青の領域を選択し、この3つ以外の色の領域でモザイク処理を行い(黒または白にする)、その後各領域の形状を計算し、形状と色に基づいて交通標識をマークする。例えば、形状が円形で色が赤である場合、当該領域を大まかに禁止類の交通標識としてマークする。形状が三角形で色が黄色である場合、当該領域を大まかに警告類の交通標識としてマークする。形状が矩形で色が青である場合、当該領域を大まかに指示類の交通標識としてマークする。
図6は、本公開の第2実施例が提供するナビゲーションターゲットのマーク方法のフローチャート図である。図6を参照して、ナビゲーションターゲットのマーク方法は以下のステップを含む。
ステップ601:マーク画像を取得する。
そのうち、マーク画像を取得するステップは、第1実施例におけるステップ101と同一であるため、ここで改めて説明しない。
ステップ602:マーク画像において近似画像を排除する。
実際の応用において、カメラにより取得されたマーク画像には、多くの、類似度が近い画像が存在する。マークの前に、類似度が類似度閾値以内に達するマーク画像を排除することで、マーク画像の数を減らし、さらにはマークの効率を向上させる。
ステップ602において、差分値ハッシュアルゴリズムを用いて、すべてのマーク画像間のハミング距離を計算し、類似性閾値をハミング距離とし、ハミング距離が[S1、S2]という区間にある画像を近似画像として設定する。
例えば、類似度閾値をハミング距離S1=0、S2=10に設定し、すべてのマーク画像のハミング距離を計算し、ハミング距離が[0、10]以内にあるマーク画像を近似画像と見なす。近似画像を排除し、近似画像のうちの一枚のみをマーク画像とする。
ステップ603:マーク対象に基づいてマーク画像におけるマーク領域を縮小する。
そのうち、マーク対象に基づいてマーク画像におけるマーク領域を縮小するステップは第1実施例におけるステップ102と同一であり、ここで改めて説明しない。
ステップ604:マーク対象とこれに対応するマーク領域に基づいてマーク対象にマッチングするマーク処理モデルを作成する。そのうち、マーク処理モデルはマーク画像におけるマーク領域を縮小するためのものである。
そのうち、マーク処理モデルの作成ステップは第1実施例におけるステップ103と同一であり、ここで改めて説明しない。
図7は、本公開の第3実施例が提供するナビゲーションターゲットのマーク方法のフローチャート図である。図7を参照すると、ナビゲーションターゲットのマーク方法は以下のステップを含む。
ステップ701:マーク画像を取得する。
ステップ701において、マーク画像を取得するステップは第1実施例におけるステップ101と同一であり、ここで改めて説明しない。
ステップ702:マーク画像における近似画像を排除する。
ステップ702において、近似画像を排除するステップは第2実施例におけるステップ602と同一であり、ここで改めて説明しない。
ステップ703:マーク画像の所在位置の経緯度情報を取得する。
ステップ703において、車両には、カメラと位置決めシステムが搭載されており、カメラはマーク画像を取得するためのものであり、位置決めシステムはマーク画像の所在位置の経緯度情報を取得可能である。そのうち、位置決めシステムは汎用の位置決めシステムを採用することができ、本発明はこれについて限定しない。
ステップ704:経緯度情報に基づいてマーク対象を確定する。
ステップ704において、経緯度情報に基づいてマーク画像のシーンを確定することができ、シーンに基づいてマーク対象を確定することで、マークの対象を減らし、さらにはマークの効率を向上させる。
例えば、経緯度情報に基づいてマーク画像のシーンが郊外であるかまたはより遠くの地方であるかを確定する場合、マーク対象は交通標識と車両であってもよい。経緯度情報に基づいてマーク画像のシーンが市内であることを確定する場合、マーク対象は歩行者、車両と交通標識であってもよい。
ステップ705:マーク対象に基づいてマーク画像におけるマーク領域を縮小する。
ステップ705において、マーク対象に基づいてマーク画像におけるマーク領域を縮小するステップは第1実施例においてステップ102と同一であり、ここで改めて説明しない。
ステップ706:マーク対象とこれに対応するマーク領域に基づいてマーク対象にマッチングするマーク処理モデルを作成する。そのうち、マーク処理モデルはマーク画像におけるマーク領域を縮小するためのものである。
ステップ706において、マーク処理モデルの作成ステップは第1実施例におけるステップ103と同一であり、ここで改めて説明しない。
説明すべき点は、本公開の実施例において、マーク画像における近似画像を排除するステップをステップ402に設定し、マーク画像の所在位置の経緯度情報を取得するステップをステップ403に設定しているが、本公開の実施例はこれに限らず、ステップ402とステップ403の順序を入れ替えることも同様に本発明の請求範囲に属する。
本公開の実施例が提供するナビゲーションターゲットのマーク方法は、マーク画像を取得するステップと、マーク対象に基づいてマーク画像におけるマーク領域を縮小するステップと、マーク対象とこれに対応するマーク領域に基づいてマーク対象にマッチングするマーク処理モデルを作成するステップと、を含み、マーク処理モデルはマーク画像におけるマーク領域を縮小するためのものである。当該マーク方法はマーク画像におけるマーク領域を縮小し、マーク範囲を縮め、マーク効率を向上させ、労働強度を低減し、マーク人員の健康への影響を減らし、マークのエラー率を低減することができる。
二つ目の態様において、本公開の第4実施例はナビゲーションターゲットのマーク装置を提供する。当該マーク方法は手動マークを補助することができ、手動マークの範囲を小さくすることで、手動マークの労働強度を低減し、マーク効率を向上させ、マークのエラー率を低減することができる。
図8は、本公開の第4実施例が提供するナビゲーションターゲットのマーク装置の原理ブロック図である。図8を参照すると、ナビゲーションターゲットのマーク装置は以下のモジュールを含む。
取得モジュール801:マーク画像を取得するためのものである。
取得モジュール801がマーク画像を取得する方式は第1実施例においてステップ101と同一であり、ここで改めて説明しない。
マーク領域縮小モジュール802:マーク対象に基づいてマーク画像におけるマーク領域を縮小するためのものである。
異なるマーク対象の、マーク画像における異なる領域での出現率は異なるため、人々が注目するマーク画像の領域も同一ではないため、マーク領域縮小モジュール802はマーク対象に基づいてマーク画像におけるマーク領域を縮小する。
例えば、マーク対象が車両である時、車両の、マーク画像の中心領域での出現率は辺縁領域よりも大きい。マーク対象が交通標識である時、交通標識の、マーク画像の辺縁領域での出現率は中心領域よりも大きい。
マーク処理モデル取得モジュール803:マーク対象とこれに対応するマーク領域に基づいてマーク対象にマッチングするマーク処理モデルを作成するためのものである。そのうち、マーク処理モデルはマーク画像におけるマーク領域を縮小するためのものである。
図9は、本公開の第4実施例が提供するナビゲーションターゲットのマーク装置におけるマーク領域縮小モジュールの原理ブロック図である。図9に示すように、マーク領域縮小モジュールは以下の手段を含む。
消点確定手段901:マーク画像における消点を確定するためのものである。
マーク画像における消点はハフ変換またはRANSACの方法により検出、確定することができる。例えば、2つの直線をランダムに選択して仮想の消点を作成してから、この仮想の消点を通過する直線の数を計算する。一定数繰返した後、戻り値は、交差する直線数を最大化する消失点である。
マーク点確定手段902:消点とマーク対象に基づいて最低マーク点と最高マーク点を確定するためのものである。
そのうち、マーク点確定手段902は最低マーク点サブ手段と最高マーク点サブ手段を含み、また、最低マーク点サブ手段と最高マーク点サブ手段のマーク方式はマーク対象に関わる。
一部の実施例において、最低マーク点サブ手段は、マーク対象が車両である時、マーク画像の底辺が左側の辺と交差する第1交差点A、および底辺が右側の辺と交差する第2交差点Bを最低マーク点としてマークするためのものである。
最高マーク点サブ手段は、マーク対象が車両である時、消点Oと第1交差点Aの連続線OAが遠端線GHと交差する第3交差点G、および消点Oと第2交差点Bの連続線OBが遠端線GHと交差する第4交差点Hを最高マーク点としてマークするためのものである。
そのうち、遠端線GHはマーク画像の底辺と平行であり、マーク画像の底辺との距離が予め設定された距離Sである線である。
一部の実施例において、最低マーク点サブ手段は、マーク対象が歩行者である時、マーク画像の底辺が左側の辺と交差する第1交差点A、および底辺が右側の辺と交差する第2交差点Bを最低マーク点としてマークするためのものである。
最高マーク点サブ手段は、マーク対象が歩行者である時、高度線OCがマーク画像の左側の辺と交差する第3交差点C、および高度線ODがマーク画像の右側の辺と交差する第4交差点Dを最高マーク点としてマークするためのものである。
そのうち、高度線OC、ODは消点を通過し、地面との距離が予め設定された高さである線である。
一部の実施例において、最低マーク点サブ手段は、マーク対象が交通標識である時、第1高度線OEがマーク画像の左側の辺と交差する第1交差点E、および第1高度線OFがマーク画像の右側の辺と交差する第2交差点Fを最低マーク点としてマークするためのものである。
最高マーク点サブ手段は、第2高度線OGがマーク画像の辺縁と交差する第3交差点G、および第2高度線OHがマーク画像の辺縁と交差する第4交差点Hを最高マーク点としてマークするためのものである。
そのうち、第1高度線OE、OFは消点Oを通過し、地面との距離が第1の予め設定された高さH1である線、第2高度線OG、OHは消点Oを通過し、地面との距離が第2の予め設定された高さH2である線である。第1の予め設定された高さH1は第2の予め設定された高さH2よりも小さい。
マーク領域縮小手段903:最低マーク点と最高マーク点により囲まれた密閉領域をマーク領域として確定するためのものである。
一部の実施例において、マーク対象が車両である時、マーク領域縮小手段903は第1交差点Aと第2交差点Bを最低マーク点としてマークし、第3交差点Gと第4交差点Hを最高マーク点にマークする。従って、マーク領域は、第1交差点A、第2交差点B、第3交差点Gと第4交差点Hにより囲まれた台形のABGH領域である。
マーク対象が歩行者である時、マーク領域縮小手段903は、第1交差点Aと第2交差点Bを最低マーク点にマークし、第3交差点Cと第4交差点Dを最高マーク点にマークする。従って、マーク領域は第1交差点A、第2交差点B、第3交差点Cと第4交差点Dにより囲まれたABCD領域である。
マーク対象が交通標識である時、マーク領域縮小手段903は第1交差点Eと第2交差点Fを最低マーク点にマークし、第3交差点Gと第4交差点Hを最高マーク点にマークする。従って、マーク領域は第1交差点E、第2交差点F、第3交差点Gと第4交差点Hにより囲まれたEFGH領域である。
一部の実施例において、マーク処理モデル取得モジュール803は、さらに、マーク対象が車両である時、マーク対象とこれに対応するマーク領域に基づいて注意力モデルを作成するためのものでもある。
一部の実施例において、ナビゲーションターゲットのマーク装置は、注意力モデルを用いてマーク領域をマークし、注意力熱力学的チャートを取得することで、マーク画像をマークするのに有利な熱力学的チャート生成モジュールをさらに含む。注意力熱力学的チャートでは、赤色の領域に近づければ近づくほど、車両の出現可能性が大きく、マークの労働強度を低減している。
一部の実施例において、マーク処理モデル取得モジュール803は、マーク対象が歩行者である時、歩行者と歩行者マーク領域に基づいて歩行者にマッチングする歩行者マークモデルを作成するのにさらに用いられる。
一部の実施例において、マーク処理モデル取得モジュール803は、マーク対象が交通標識である時、色モデルに基づいて交通標識モデルを作成するのにさらに用いられる。即ち、色と形状に基づいて交通標識の類型を識別する。例えば、赤い円は禁止類の交通標識、黄色の三角形は警告類の交通標識、青い矩形は指示類の交通標識である。
図10は、本公開の第5実施例が提供するナビゲーションターゲットのマーク装置の原理ブロック図である。図10を参照すると、ナビゲーションターゲットのマーク装置は、取得モジュール1001、近似画像排除モジュール1002、マーク領域縮小モジュール1003とマーク処理モデル取得モジュール1004を含み、そのうち、取得モジュール1001、マーク領域縮小モジュール1003とマーク処理モデル取得モジュール1004と、第4実施例における取得モジュール801、マーク領域縮小モジュール802とマーク処理モデル取得モジュール803の機能と作用は対応して等しく、ここで改めて説明しない。以下では異なる部分のみについて詳細に説明する。
近似画像排除モジュール1002は、マーク画像における近似画像を排除するためのものである。近似画像排除モジュール1002は差分値ハッシュアルゴリズムを用いてすべてのマーク画像間のハミング距離を計算し、類似度閾値をハミング距離とし、ハミング距離が[S1、S2]という区間にある画像を近似画像として設定する。
例えば、類似度閾値をハミング距離S1=0、S2=10に設定し、すべてのマーク画像のハミング距離を計算し、ハミング距離が[0、10]以内にあるマーク画像を近似画像と見なす。近似画像を排除し、近似画像のうちの一枚のみをマーク画像とする。
図11は、本公開の第6実施例が提供するナビゲーションターゲットのマーク装置の原理ブロック図である。図11を参照すると、ナビゲーションターゲットのマーク装置は取得モジュール1101、近似画像排除モジュール1102、経緯度確定モジュール1103、マーク対象確定モジュール1104、マーク領域縮小モジュール1105とマーク処理モデル取得モジュール1106を含み、そのうち、取得モジュール1101、マーク領域縮小モジュール1105とマーク処理モデル取得モジュール1106と第4実施例における取得モジュール801、マーク領域縮小モジュール802とマーク処理モデル取得モジュール803の機能と作用は対応して等しく、近似画像排除モジュール1102と第5実施例における近似画像排除モジュール1002の機能は等しく、ここで改めて説明しない。以下では異なる部分のみについて詳細に説明する。
本公開の実施例において、経緯度確定モジュール1103は、マーク画像の所在位置の経緯度情報を取得するためのものである。
そのうち、経緯度情報は車両に搭載された位置決めシステムにより確定でき、本発明はこれについて限定しない。
マーク対象確定モジュール1105は、経緯度情報に基づいてマーク対象を確定するためのものである。
一部の実施例において、マーク対象確定モジュール1105は、経緯度情報に基づいてマーク画像のシーンを確定することができ、シーンに基づいてマーク対象を確定することで、マークの対象を減らし、さらにはマークの効率を向上させる。
例えば、経緯度情報に基づいてマーク画像のシーンが郊外であるかまたはより遠くの地方であるかを確定する場合、マーク対象は交通標識と車両であってもよい。経緯度情報に基づいてマーク画像のシーンが市内であることを確定する場合、マーク対象は歩行者、車両と交通標識であってもよい。
本公開の実施例が提供するナビゲーションターゲットのマーク装置は、取得モジュールを用いてマーク画像を取得し、マーク領域縮小モジュールがマーク対象に基づいてマーク画像におけるマーク領域を縮小し、マーク処理モデル取得モジュールがマーク対象とこれに対応するマーク領域に基づいてマーク対象にマッチングするマーク処理モデルを作成する。そのうち、マーク処理モデルはマーク画像におけるマーク領域を縮小するためのものである。当該マーク装置はマーク画像におけるマーク領域を縮小し、マーク範囲を縮め、マーク効率を向上させることができ、労働強度を低減し、マーク人員の健康への影響を減らすとともに、マークのエラー率を低減することができる。
三つ目の態様において、図12を参照すると、本公開の実施例は、
1つまたは複数のプロセッサ1201と、
1つまたは複数のプログラムが記憶されており、1つまたは複数のプログラムが1つまたは複数のプロセッサに実行されることで、1つまたは複数のプロセッサに上記任意のナビゲーションターゲットのマーク方法を実現させるメモリ1202と、
プロセッサとメモリとの間に接続され、プロセッサとメモリの情報交換を実現するように配置される1つまたは複数のI/Oインターフェース1203と、を含む
電子設備を提供する。
そのうち、プロセッサ1201は、データ処理能力を有するデバイスであり、中央処理装置(CPU)等を含むがこれに限らない。メモリ1202はデータ記憶能力を有するデバイスであり、ランダムアクセスメモリ(RAM、より具体的に、例えば、SDRAM、DDR等)、読み出し専用メモリ(ROM)、帯電消去可能プログラマブル読み出し専用メモリ(EEPROM(登録商標))、フラッシュメモリ(FLASH(登録商標))を含むがこれらに限らない。I/Oインターフェース(読み書きインターフェース)1203はプロセッサ1201とメモリ1202との間に接続され、プロセッサ1201とメモリ1202の情報交換を実現することができ、データ母線(Bus)等を含むがこれに限らない。
一部の実施例において、プロセッサ1201、メモリ1202とI/Oインターフェース1203は母線により接続され、さらに計算設備のそのほかの構成要素に接続される。
四つ目の態様において、本公開の実施例は、
コンピュータプログラムが記憶されており、コンピュータプログラムはプロセッサに実行される時、上記任意のナビゲーションターゲットのマーク方法を実現する
コンピュータ可読記憶媒体を提供する。
前文で公開の方法におけるすべてまたは一部のステップ、システム、装置における機能モジュール/手段は、ソフトウェア、ファームウェア、ハードウェア、およびこれらの適切な組み合わせとして実施できるということを当業者は理解することができる。ハードウェアの実施形態において、上記記載で言及された機能モジュール/手段間の区分は、必ずしも物理構成要素の区分に対応しない。例えば、1つの物理構成要素は複数の機能を有してもよいし、または1つの機能もしくはステップは若干の物理構成要素で実行されてもよい。一部の物理構成要素またはすべての物理構成要素は、プロセッサ(例えば、中央処理装置、デジタル信号プロセッサ、または、マイクロプロセッサ)によって実行されるソフトウェアとして、またはハードウェアとして、または集積回路(例えば、専用集積回路)として実施できる 。このようなソフトウェアは、コンピュータ可読媒体に設置することができ、コンピュータ可読媒体は、コンピュータ記憶媒体(または非一時的媒体)および通信媒体(または一時的媒体)を含み得る。当業者によく知られているように、コンピュータ記憶媒体という用語は、情報(例えば、コンピュータ可読命令、データ構造、プログラムモジュール、またはその他のデータ)を記憶するための任意の方法または技術で実施される揮発性および非揮発性データ、取り外し可能、取り外し不可能な媒体を含む。コンピュータ記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリまたはその他のメモリテクノロジ、CD-ROM、デジタル多機能ディスク(DVD)またはその他の光ディスクストレージ、カセット、磁気テープ、磁気ディスクストレージまたはその他の磁気ストレージデバイス、または所望の情報を記憶し且つコンピュータがアクセスできるその他の媒体を含むがこれに限らない。このほか、当業者によく知られているように、通信媒体は一般的に、コンピュータ可読命令、データ構造、プログラムモジュール、またはキャリア波もしくは他の転送機構類の変調データ信号におけるその他のデータを含み、任意の情報配信媒体を含み得る。
五つ目の態様において、本公開の実施例は、
プロセッサによって実行される時、上記任意のナビゲーションターゲットのマーク方法を実現するコンピュータプログラムを含む、
コンピュータプログラム製品を提供する。
本公開の方法を実行するためのプログラムコードは、1つまたは複数のプログラミング言語の任意の組み合わせで作成することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、またはその他のプログラム可能なデータ処理装置のプロセッサもしくはコントローラに提供して、プログラムコードがプロセッサまたはコントローラによって実行される時、フローチャートおよび/またはブロック図で規定された機能/操作を実行させることができる。プログラムコードは、完全にマシンで実行されるか、部分的にマシンで実行され、独立したソフトウェアパッケージとして、マシンで部分的に実行され、かつリモートマシンで部分的に実行されるか、リモートマシンで完全に実行されるか、またはサーバーで実行されることができる。
本文では例示的な実施例が公開されており、具体的な用語を用いたが、これらの用語は、単に一般的な説明性の意味として使用、解釈すべきであり、制限の目的に用いられない。一部の実例において、特に明確に説明しない場合、特定の実施例を組み合わせて記載の特徴、特性および/または要素を単独で使用でき、そのほかの実施例を組み合わせて記載の特徴、特性および/または要素と組み合わせて使用することができるということは当業者にとって自明である。従って、添付の請求項で記載の本公開の範囲を逸脱しない状況において、各形態および詳細の様々な変更を行うことができる。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
マーク画像を取得するステップと、
マーク対象に基づいて前記マーク画像におけるマーク領域を縮小するステップと、
前記マーク対象とこれに対応する前記マーク領域に基づいて前記マーク対象にマッチングするマーク処理モデルを作成するステップと、を含み、
前記マーク処理モデルは前記マーク画像におけるマーク領域を縮小するものである
ナビゲーションターゲットのマーク方法。
[C2]
マーク対象に基づいて前記マーク画像におけるマーク領域を縮小する前記ステップは、 前記マーク画像における消点を確定するステップと、
前記消点と前記マーク対象に基づいて最低マーク点と最高マーク点を確定するステップと、
前記最低マーク点と前記最高マーク点により囲まれた密閉領域を前記マーク領域として確定するステップと、
を含むC1に記載の方法。
[C3]
前記消点と前記マーク対象に基づいて最低マーク点と最高マーク点を確定する前記ステップは、
前記マーク対象が車両である時、前記最低マーク点は、前記マーク画像の底辺が左側の辺と交叉する第1交差点、および底辺が右側の辺と交差する第2交差点を含み、前記最高マーク点は、前記消点と前記第1交差点との連続線が遠端線と交差する第3交差点、および前記消点と前記第2交差点との連続線が前記遠端線と交差する第4交差点を含み、前記遠端線は、前記マーク画像の底辺と平行であり、前記マーク画像の底辺との距離が予め設定された線であることを含む、
C2に記載の方法。
[C4]
前記消点と前記マーク対象に基づいて最低マーク点と最高マーク点を確定する前記ステップは、
前記マーク対象が歩行者である時、前記最低マーク点は、前記マーク画像の底辺が左側の辺と交差する第1交差点、および底辺が右側の辺と交差する第2交差点を含み、前記最高マーク点は、高度線が前記マーク画像の左側の辺と交差する第3交差点、および前記高度線が前記マーク画像の右側の辺と交差する第4交差点を含み、前記高度線は、前記消点を通過して地面との距離が予め設定された高さである線であることを含む、
C2に記載の方法。
[C5]
前記消点と前記マーク対象に基づいて最低マーク点と最高マーク点を確定する前記ステップは、
前記マーク対象が交通標識である時、前記最低マーク点は、第1高度線が前記マーク画像の左側の辺と交差する第1交差点、および前記第1高度線が前記マーク画像の右側の辺と交差する第2交差点を含み、前記最高マーク点は、第2高度線が前記マーク画像の左側と交差する第3交差点、第2高度線が前記マーク画像の右側と交差する第4交差点を含み、前記第1高度線は、前記消点を通過して地面との距離が第1の予め設定された高さの線であり、前記第2高度線は、前記消点を通過して地面との距離が第2の予め設定された高さの線であり、前記第1の予め設定された高さは前記第2の予め設定された高さよりも小さいことを含む、
C2に記載の方法。
[C6]
前記マーク対象とこれに対応する前記マーク領域に基づいて前記マーク対象にマッチングするマーク処理モデルを作成した前記ステップの後に、
前記マーク処理モデルに基づいて前記マーク領域の熱力学的チャートを取得するステップと、
前記熱力学的チャートに基づいて前記マーク領域の目標をマークするステップと、をさらに含む
C1~5のいずれか一項に記載の方法。
[C7]
マーク対象に基づいて前記マーク画像におけるマーク領域を縮小する前記ステップの前に、
前記マーク画像における近似画像を排除するステップをさらに含む
C1~5のいずれか一項に記載の方法。
[C8]
マーク対象に基づいて前記マーク画像におけるマーク領域を縮小する前記ステップの前に、
前記マーク画像の所在位置の経緯度情報を取得するステップと、
前記経緯度情報に基づいて前記マーク対象を確定するステップと、をさらに含む
C1~5のいずれか一項に記載の方法。
[C9]
マーク画像を取得するための取得モジュールと、
マーク対象に基づいて前記マーク画像におけるマーク領域を縮小するためのマーク領域縮小モジュールと、
前記マーク対象とこれに対応する前記マーク領域に基づいて前記マーク対象にマッチングするマーク処理モデルを作成するマーク処理モデル取得モジュールと、を含み、
前記マーク処理モデルは前記マーク画像におけるマーク領域を縮小するためのものである
ナビゲーションターゲットのマーク装置。
[C10]
前記マーク領域縮小モジュールは、
前記マーク画像における消点を確定するための消点確定手段と、
前記消点と前記マーク対象に基づいて最低マーク点と最高マーク点を確定するためのマーク点確定手段と、
前記最低マーク点と前記最高マーク点により囲まれた密閉領域を前記マーク領域として確定するためのマーク領域縮小手段と、を含む
C9に記載の装置。
[C11]
前記装置は、
前記マーク画像における近似画像を排除するための近似画像排除モジュールをさらに含む
C9に記載の装置。
[C12]
前記装置は、
前記マーク画像の所在位置の経緯度情報を取得するための経緯度確定モジュールと、 前記経緯度情報に基づいて前記マーク対象を確定するためのマーク対象確定モジュールと、をさらに含む
C9に記載の装置。
[C13]
1つまたは複数のプロセッサと、
1つまたは複数のプログラムが記憶されており、前記1つまたは複数のプログラムが前記1つまたは複数のプロセッサに実行されることで、前記1つまたは複数のプロセッサにC1~8のいずれか一項に記載の方法を実現させるメモリと、
前記プロセッサとメモリとの間に接続され、前記プロセッサとメモリの情報交互を実現するように配置される1つまたは複数のI/Oインターフェースと、を含む
電子設備。
[C14]
コンピュータプログラムが記憶されており、前記コンピュータプログラムはプロセッサに実行される時、C1~8のいずれか一項に記載の方法を実現する
コンピュータ可読記憶媒体。
[C15]
プロセッサによって実行される時、C1~8のいずれか一項に記載の方法を実現するコンピュータプログラムを含む、
コンピュータプログラム製品。

Claims (15)

  1. マーク画像を取得するステップと、
    マーク対象の類型に基づいて前記マーク画像におけるマーク領域を確定するステップと、
    前記マーク対象と前記マーク対象に対応する前記マーク領域に基づいて前記マーク対象にマッチングするマーク処理モデルを作成するステップと、を含み、
    前記マーク処理モデルは前記マーク画像におけるマーク領域を縮小するものであり、
    前記マーク対象の前記類型は車両、歩行者、交通標識を含み、
    異なる類型のマーク対象は前記マーク画像における異なるマーク領域に対応する、
    ナビゲーションターゲットのマーク方法。
  2. マーク対象の前記類型に基づいて前記マーク画像におけるマーク領域を確定する前記ステップは、
    前記マーク画像における消点を確定するステップと、
    前記消点と前記マーク対象の前記類型に基づいて最低マーク点と最高マーク点を確定するステップと、
    前記最低マーク点と前記最高マーク点により囲まれた密閉領域を前記マーク領域として確定するステップと、
    を含む請求項1に記載の方法。
  3. 前記消点と前記マーク対象の前記類型に基づいて最低マーク点と最高マーク点を確定する前記ステップは、
    前記マーク対象の前記類型前記車両である時、前記最低マーク点は、前記マーク画像の底辺が左側の辺と交叉する第1交差点、および底辺が右側の辺と交差する第2交差点を含み、前記最高マーク点は、前記消点と前記第1交差点との連続線が遠端線と交差する第3交差点、および前記消点と前記第2交差点との連続線が前記遠端線と交差する第4交差点を含み、前記遠端線は、前記マーク画像の底辺と平行であり、前記マーク画像の底辺との距離が予め設定された線であることを含む、
    請求項2に記載の方法。
  4. 前記消点と前記マーク対象の前記類型に基づいて最低マーク点と最高マーク点を確定する前記ステップは、
    前記マーク対象の前記類型前記歩行者である時、前記最低マーク点は、前記マーク画像の底辺が左側の辺と交差する第1交差点、および底辺が右側の辺と交差する第2交差点を含み、前記最高マーク点は、高度線が前記マーク画像の左側の辺と交差する第3交差点、および前記高度線が前記マーク画像の右側の辺と交差する第4交差点を含み、前記高度線は、前記消点を通過して地面との距離が予め設定された高さである線であることを含む、
    請求項2に記載の方法。
  5. 前記消点と前記マーク対象の前記類型に基づいて最低マーク点と最高マーク点を確定する前記ステップは、
    前記マーク対象の前記類型前記交通標識である時、前記最低マーク点は、第1高度線が前記マーク画像の左側の辺と交差する第1交差点、および前記第1高度線が前記マーク画像の右側の辺と交差する第2交差点を含み、前記最高マーク点は、第2高度線が前記マーク画像の左側と交差する第3交差点、第2高度線が前記マーク画像の右側と交差する第4交差点を含み、前記第1高度線は、前記消点を通過して地面との距離が第1の予め設定された高さの線であり、前記第2高度線は、前記消点を通過して地面との距離が第2の予め設定された高さの線であり、前記第1の予め設定された高さは前記第2の予め設定された高さよりも小さいことを含む、
    請求項2に記載の方法。
  6. 前記マーク対象と前記マーク対象に対応する前記マーク領域に基づいて前記マーク対象にマッチングするマーク処理モデルを作成した前記ステップの後に、
    前記マーク処理モデルに基づいて前記マーク領域の熱力学的チャートを取得するステップと、
    前記熱力学的チャートに基づいて前記マーク領域の目標をマークするステップと、ここにおいて、前記熱力学的チャートにおいて、赤の領域に近づけば近づけるほど前記マーク対象の出現可能性が大きくなる、をさらに含む
    請求項1~5のいずれか一項に記載の方法。
  7. マーク対象の前記類型に基づいて前記マーク画像におけるマーク領域を確定する前記ステップの前に、
    前記マーク画像における近似画像を排除するステップをさらに含む
    請求項1~5のいずれか一項に記載の方法。
  8. マーク対象の前記類型に基づいて前記マーク画像におけるマーク領域を確定する前記ステップの前に、
    前記マーク画像の所在位置の経緯度情報を取得するステップと、
    前記経緯度情報に基づいて前記マーク対象を確定するステップと、をさらに含む
    請求項1~5のいずれか一項に記載の方法。
  9. マーク画像を取得するための取得モジュールと、
    マーク対象の類型に基づいて前記マーク画像におけるマーク領域を確定するためのマーク領域縮小モジュールと、
    前記マーク対象と前記マーク対象に対応する前記マーク領域に基づいて前記マーク対象にマッチングするマーク処理モデルを作成するマーク処理モデル取得モジュールと、を含み、
    前記マーク処理モデルは前記マーク画像におけるマーク領域を縮小するためのものであり、
    前記マーク対象の前記類型は車両、歩行者、交通標識を含み、
    異なる類型のマーク対象は前記マーク画像における異なるマーク領域に対応する、
    ナビゲーションターゲットのマーク装置。
  10. 前記マーク領域縮小モジュールは、
    前記マーク画像における消点を確定するための消点確定手段と、
    前記消点と前記マーク対象の前記類型に基づいて最低マーク点と最高マーク点を確定するためのマーク点確定手段と、
    前記最低マーク点と前記最高マーク点により囲まれた密閉領域を前記マーク領域として確定するためのマーク領域縮小手段と、を含む
    請求項9に記載の装置。
  11. 前記装置は、
    前記マーク画像における近似画像を排除するための近似画像排除モジュールをさらに含む
    請求項9に記載の装置。
  12. 前記装置は、
    前記マーク画像の所在位置の経緯度情報を取得するための経緯度確定モジュールと、 前記経緯度情報に基づいて前記マーク対象を確定するためのマーク対象確定モジュールと、をさらに含む
    請求項9に記載の装置。
  13. 1つまたは複数のプロセッサと、
    1つまたは複数のプログラムが記憶されており、前記1つまたは複数のプログラムが前記1つまたは複数のプロセッサに実行されることで、前記1つまたは複数のプロセッサに請求項1~8のいずれか一項に記載の方法を実現させるメモリと、
    前記プロセッサとメモリとの間に接続され、前記プロセッサとメモリの情報交互を実現するように配置される1つまたは複数のI/Oインターフェースと、を含む
    電子設備。
  14. コンピュータプログラムが記憶されており、前記コンピュータプログラムはプロセッサに実行される時、請求項1~8のいずれか一項に記載の方法を実現する
    コンピュータ可読記憶媒体。
  15. プロセッサによって実行される時、請求項1~8のいずれか一項に記載の方法を実現するコンピュータプログラム。
JP2021040979A 2020-05-19 2021-03-15 ナビゲーションターゲットのマーク方法および装置、電子設備、コンピュータ可読媒体 Active JP7383659B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010433124.4A CN113688259A (zh) 2020-05-19 2020-05-19 导航目标的标注方法及装置、电子设备、计算机可读介质
CN202010433124.4 2020-05-19

Publications (2)

Publication Number Publication Date
JP2021108137A JP2021108137A (ja) 2021-07-29
JP7383659B2 true JP7383659B2 (ja) 2023-11-20

Family

ID=75238106

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021040979A Active JP7383659B2 (ja) 2020-05-19 2021-03-15 ナビゲーションターゲットのマーク方法および装置、電子設備、コンピュータ可読媒体

Country Status (3)

Country Link
JP (1) JP7383659B2 (ja)
KR (1) KR102608167B1 (ja)
CN (1) CN113688259A (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002362302A (ja) 2001-06-01 2002-12-18 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai 歩行者検出装置
JP2007265292A (ja) 2006-03-29 2007-10-11 D-E Tech Corp 道路標識データベース構築装置
JP2012248011A (ja) 2011-05-27 2012-12-13 Denso Corp 画像認識装置
JP2014146267A (ja) 2013-01-30 2014-08-14 Toyota Motor Corp 歩行者検出装置、運転支援装置
JP2016024572A (ja) 2014-07-18 2016-02-08 日産自動車株式会社 信号機検出装置及び信号機検出方法
US20170024623A1 (en) 2015-07-24 2017-01-26 Honda Motor Co., Ltd. Surrounding environment recognition device

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101876535B (zh) * 2009-12-02 2015-11-25 北京中星微电子有限公司 一种高度测量方法、装置及监控系统
KR101410273B1 (ko) * 2012-09-11 2014-06-20 한국과학기술원 증강현실 응용을 위한 환경 모델링 방법 및 장치
TWI576712B (zh) * 2015-11-05 2017-04-01 宏碁股份有限公司 照片整理的方法及其電子裝置與電腦程式產品
US10209089B2 (en) * 2017-04-03 2019-02-19 Robert Bosch Gmbh Automated image labeling for vehicles based on maps
CN109034214B (zh) * 2018-07-09 2019-12-27 百度在线网络技术(北京)有限公司 用于生成标记的方法和装置
CN110175975A (zh) * 2018-12-14 2019-08-27 腾讯科技(深圳)有限公司 对象检测方法、装置、计算机可读存储介质和计算机设备
CN110458226B (zh) * 2019-08-08 2022-04-01 上海商汤智能科技有限公司 图像标注方法及装置、电子设备和存储介质
CN110929729B (zh) * 2020-02-18 2020-08-04 北京海天瑞声科技股份有限公司 图像标注方法、图像标注装置及计算机存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002362302A (ja) 2001-06-01 2002-12-18 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai 歩行者検出装置
JP2007265292A (ja) 2006-03-29 2007-10-11 D-E Tech Corp 道路標識データベース構築装置
JP2012248011A (ja) 2011-05-27 2012-12-13 Denso Corp 画像認識装置
JP2014146267A (ja) 2013-01-30 2014-08-14 Toyota Motor Corp 歩行者検出装置、運転支援装置
JP2016024572A (ja) 2014-07-18 2016-02-08 日産自動車株式会社 信号機検出装置及び信号機検出方法
US20170024623A1 (en) 2015-07-24 2017-01-26 Honda Motor Co., Ltd. Surrounding environment recognition device

Also Published As

Publication number Publication date
JP2021108137A (ja) 2021-07-29
KR20210035112A (ko) 2021-03-31
CN113688259A (zh) 2021-11-23
KR102608167B1 (ko) 2023-12-01

Similar Documents

Publication Publication Date Title
US11854272B2 (en) Hazard detection from a camera in a scene with moving shadows
JP6259928B2 (ja) 車線データの処理方法、装置、記憶媒体及び機器
EP3551967A2 (en) Method and system for video-based positioning and mapping
CN110969592B (zh) 图像融合方法、自动驾驶控制方法、装置和设备
EP3171295B1 (en) Method for processing image and computer-readable non-transitory recording medium storing program
CN110568451A (zh) 一种高精度地图中道路交通标线的生成方法和装置
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
CN105718872A (zh) 两侧车道快速定位及检测车辆偏转角度的辅助方法及系统
KR101652594B1 (ko) 증강 현실 컨텐츠 제공 장치 및 방법
Khan et al. Lane detection using lane boundary marker network with road geometry constraints
CN115526990A (zh) 用于数字孪生的目标可视化方法、装置及电子设备
CN114387199A (zh) 图像标注方法及装置
CN113255578B (zh) 交通标识的识别方法及装置、电子设备和存储介质
CN110909620A (zh) 车辆检测方法、装置、电子设备及存储介质
CN114067288A (zh) 一种交通标志牌提取方法、系统、电子设备及存储介质
CN111191482A (zh) 一种刹车灯识别方法、装置及电子设备
JP7383659B2 (ja) ナビゲーションターゲットのマーク方法および装置、電子設備、コンピュータ可読媒体
CN113189610A (zh) 地图增强的自动驾驶多目标追踪方法和相关设备
Mandlik et al. Raspberry-pi based real time lane departure warning system using image processing
CN110827340A (zh) 地图的更新方法、装置及存储介质
CN116052120A (zh) 基于图像增强和多传感器融合的挖掘机夜间物体检测方法
WO2019080257A1 (zh) 电子装置、车祸现场全景图像展示方法和存储介质
CN112801077B (zh) 用于自动驾驶车辆的slam初始化的方法及相关装置
Shin et al. Visual lane analysis-a concise review
TWI807904B (zh) 深度識別模型訓練方法、圖像深度識別方法及相關設備

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210315

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20220920

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20221026

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230818

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231108

R150 Certificate of patent or registration of utility model

Ref document number: 7383659

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150