JP6844043B2 - 視覚測位方法、装置、電子機器およびシステム - Google Patents

Description

（関連出願の相互参照）
本願は２０１８年０６月０５日に出願された、出願番号２０１８１０５８１６８６．６の中国特許出願に基づいて提出され、該中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。

本願はコンピュータビジョン技術に関し、特に視覚測位方法、装置、電子機器およびシステムに関する。

無人運転システムまたは先進運転支援システム（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｔ Ｓｙｓｔｅｍ、ＡＤＡＳ）は知的運転分野において用いられるシステムであり、目標測位は該システムのコア機能である。そのうち、単眼視覚測位の方法は一般的な単眼カメラのみを使用し、アルゴリズムが簡単で、効率が高く、計算量が小さいという利点を有するため、研究が盛んになっている。

単眼視覚測位は主にカメラのパラメータに基づいて行われ、カメラのパラメータは、カメラの姿勢などの要因に関連し、通常、カメラのパラメータは予め設定され、カメラのパラメータが設定されてからカメラのパラメータに基づいて測位が行われる。

本願の実施例は視覚測位の解決手段を提供する。

第一態様で、本願の実施例は、車両に取り付けられたカメラで取得した車両走行路面のビデオストリームに基づいて前記車両走行路面の区画線検出を行うことと、区画線検出結果に基づいて前記カメラの現在視野角の第一基準点情報を特定することと、前記第一基準点情報と、前記カメラの過去視野角の基準点情報である第二基準点情報とに基づき、第三ホモグラフィ行列を特定することであって、前記第二基準点の位置が前記第一基準点の位置に対応し合い、前記第三ホモグラフィ行列が、現在視野角でのカメラの座標と過去視野角でのカメラの座標とのマッピング関係を表すために用いることと、前記第三ホモグラフィ行列と予め設定されたホモグラフィ行列とに基づいて第一ホモグラフィ行列を特定することであって、前記予め設定されたホモグラフィ行列が前記過去視野角でのカメラの座標と世界座標とのマッピング関係であることと、前記第一ホモグラフィ行列に基づいて測位することと、を含む視覚測位方法を提供する。

第二態様で、本願の実施例は、
車両に取り付けられたカメラで取得した車両走行路面のビデオストリームに基づいて前記車両走行路面の区画線検出を行うように構成される検出モジュールと、
区画線検出結果に基づいて前記カメラの現在視野角の第一基準点情報を特定するように構成される第一特定モジュールと、
前記第一基準点情報と、前記カメラの過去視野角の基準点情報である第二基準点情報とに基づき、第三ホモグラフィ行列を特定するように構成され、前記第二基準点の位置が前記第一基準点の位置に対応し合い、前記第三ホモグラフィ行列が、現在視野角でのカメラの座標と過去視野角でのカメラの座標とのマッピング関係を表すために用いる第二特定モジュールと、
前記第三ホモグラフィ行列と予め設定されたホモグラフィ行列とに基づいて第一ホモグラフィ行列を特定するように構成され、前記予め設定されたホモグラフィ行列が前記過去視野角でのカメラの座標と世界座標とのマッピング関係である第三特定モジュールと、
第一ホモグラフィ行列に基づいて測位するように構成される測位モジュールと、を含む視覚測位装置を提供する。

本願の第三態様は、
プログラム命令を記憶するように構成されるメモリと、
前記メモリ内のプログラム命令を呼び出して実行し、前記第一態様に記載の方法のステップを実行するように構成されるプロセッサと、を含む電子機器を提供する。

本願の第四態様は、前記第一態様に記載の方法のステップを実行するためのコンピュータプログラムが記憶されている読み取り可能な記憶媒体を提供する。

本願の第五態様は、車両に用いられる視覚測位システムであって、前記車両に取り付けられたカメラ、および前記カメラと通信的に接続される前記第二態様に記載の視覚測位装置を含む視覚測位システムを提供する。

本願の第六態様は、コンピュータに前記第一態様に記載の方法を実行させるコンピュータプログラムを提供する。

本願が提供する視覚測位方法、装置、電子機器およびシステムは、現在視野角の第一基準点情報および過去視野角での第二基準点情報に基づき、カメラのリアルタイム姿勢を反映可能な現在視野角でのカメラの座標から世界座標への第一ホモグラフィ行列を生成し、さらに該第一ホモグラフィ行列に基づいて視覚測位を行い、それによりカメラの姿勢が変化した後、ユーザはパラメータを手動で計測する必要なく、視覚測位を正常に行うことができ、それにより操作の複雑度を低下させ、ユーザの使用体験を大幅に向上させる。

本願の実施例の現在視野角および過去視野角の模式図である。 本願の実施例が提供する視覚測位方法の実施例のフローチャートである。 本願の実施例が提供する視覚測位方法の実施例のフローチャートである。 本願の実施例が提供する縦方向較正の幾何モデルである。 本願の実施例が提供する横方向較正の幾何モデルである。 本願の実施例が提供する視覚測位方法の実施例のフローチャートである。 本願の実施例が提供する視覚測位方法の実施例のフローチャートである。 本願の実施例が提供する視覚測位方法の実施例のフローチャートである。 本願の実施例が提供する視覚測位装置の実施例の第一モジュール構成図である。 本願の実施例が提供する視覚測位装置の実施例の第二モジュール構成図である。 本願の実施例が提供する視覚測位装置の実施例の第三モジュール構成図である。 本願の実施例が提供する視覚測位装置の実施例の第四モジュール構成図である。 本願の実施例が提供する視覚測位装置の実施例の第五モジュール構成図である。 本願の実施例が提供する電子機器の実体のブロック図である。 本願の実施例が提供する視覚測位システムのアーキテクチャ模式図である。

本願または従来技術における技術的解決手段をより明確に説明するために、以下に実施例または従来技術の記述において必要な図面を用いて簡単に説明を行うが、当然ながら、上記に記載する図面は単に本願の実施例の一例であり、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の図面に想到し得る。

本願の目的、技術的解決手段および利点をより明確にするために、以下に本願の実施例における図面と関連付けて、本願の実施例における技術的解決手段を明確に、完全に説明し、当然ながら、説明される実施例は本願の実施例の一部に過ぎず、全ての実施例ではない。本願における実施例に基づき、当業者が創造的な労力を要することなく、得られた他の全ての実施例は、いずれも本願の保護範囲に属する。

説明すべきは、本願の実施例に記載のカメラは視覚測位に用いられる車載カメラであり、該車載カメラによって路面情報を撮影できることである。

関連技術では、カメラが、例えば再実装されるか、他の車両に取り付けられるかまたは道路がでこぼこするかなど、姿勢が変化するシーンで、通常、ユーザは手動でパラメータを計測しなければならず、計測されるパラメータはカメラのピッチ角などのカメラ外部パラメータを含むため、ユーザは種々の複雑な操作を実行しなければパラメータ情報を計測できず、これはユーザ体験を低下させる。

本願の実施例は視覚測位方法を提供し、現在視野角および過去視野角での基準点によって、カメラのリアルタイム姿勢を反映可能な現在視野角でのカメラの座標から世界座標への第一ホモグラフィ行列を生成し、さらに該第一ホモグラフィ行列に基づいて視覚測位を行い、それによりカメラの姿勢が変化した後、ユーザはパラメータを手動で計測する必要なく、視覚測位を正常に行うことができ、それにより操作の複雑度を低下させ、ユーザの使用体験を大幅に向上させる。

当業者が本願の実施例の技術的解決手段をより明確に理解できるよう、以下、まず本願の実施例に係る用語を説明する。

１、現在視野角および過去視野角
現在視野角は現在時刻のカメラの視野角であり、過去視野角は現在時刻よりも前のある時刻の視野角である。本願の実施例の応用シーンについて、現在視野角および過去視野角は同じ視野角であってもなくてもよい。例えば、図１に示すように、視野角Ａは過去視野角であり、カメラの姿勢が変化した後、それは現在視野角、即ち視野角Ｂに変わる。

２、ホモグラフィ行列（Ｈｏｍｏｇｒａｐｈｙ Ｍａｔｒｉｘ）
同一平面の異なる時刻の視野角の座標変換に用いられるもの、即ち異なる時刻の視野角の座標間のマッピング関係を識別するためのものである。

図２は本願の実施例が提供する視覚測位方法の実施例のフローチャートであり、該方法は視覚測位が必要なあらゆる機器に用いることができ、つまり該方法の実行主体は視覚測位が必要な機器としてもよく、例えば、実行主体は、プロセッサおよびメモリを含む電子機器（プロセッサはメモリに記憶された対応する命令を呼び出して本願の実施例における方法のステップを実行する）、または、視覚測位装置（前記視覚測位装置は少なくとも検出モジュール、第一特定モジュール、第二特定モジュールおよび測位モジュールを含み、本願の実施例における方法のステップを実行可能である）を含む電子機器、または、ＡＤＡＳがインストールされた車両またはロボットなど、または無人運転車両もしくはロボットなどであってもよいが、これらに限定されない。方法の実行主体に対する説明は本願の他の方法の実施例にも適し、詳細な説明は繰り返さない。図２に示すように、該方法は以下を含む。

Ｓ２０１において、車両に取り付けられたカメラで取得した車両走行路面のビデオストリームに基づいて該車両走行路面の区画線検出を行う。

Ｓ２０２において、区画線検出結果に基づいて前記カメラの現在視野角の第一基準点情報を特定する。

ここで、車両に取り付けられたカメラを事前に起動すると、カメラは車両が走行する路面のビデオストリームをリアルタイムに取得し、視覚測位を行う機器はカメラが取得したビデオストリームに基づいて区画線検出を行い、区画線検出結果を取得する。

本願の一つ以上の実施例によれば、区画線検出結果に基づいて区画線情報を特定することができる。

本願の一つ以上の実施例によれば、前記区画線情報は車両左右側の二つの区画線の情報または区画線平行線の情報であってもよい。該二つの区画線は直線区画線であってもよいし、湾曲区画線であってもよく、本願の実施例はこれを限定しない。区画線が湾曲区画線である場合、湾曲区画線を統計処理することで対応する直線区画線情報または直線区画線平行線情報を得ることができる。区画線は実線または点線などであってもよく、本願の実施例はその線種を限定せず、区画線の色は白色、黄色または黒色などであってもよく、本願の実施例はその色を限定しない。

前記区画線情報は区画線平行線関数で表すことができ、区画線情報の取得プロセスは下記実施例において説明する。

Ｓ２０３において、前記第一基準点情報と、前記カメラの過去視野角の基準点情報である第二基準点情報とに基づき、第三ホモグラフィ行列を特定し、前記第二基準点の位置が前記第一基準点の位置に対応し合い、前記第三ホモグラフィ行列が、現在視野角でのカメラの座標と過去視野角でのカメラの座標とのマッピング関係を表すために用いる。

Ｓ２０４において、前記第三ホモグラフィ行列と予め設定されたホモグラフィ行列とに基づいて第一ホモグラフィ行列を特定し、前記予め設定されたホモグラフィ行列が前記過去視野角でのカメラの座標と世界座標とのマッピング関係である。

本願の一つ以上の実施例によれば、前記第二基準点は既知の基準点であり、つまり本実施例を実行する前に、過去視野角での基準点が既に選択および記録されている。第一基準点も第二基準点も世界座標での座標点であり、しかもいずれも区画線平行線の縦方向における等距離且つ対になる位置点の座標である。前記第二基準点と前記第一基準点は位置が互いに対応し合い、具体的に第一基準点も第二基準点も区画線平行線における縦方向での等距離且つ対になる位置点であることと解されてもよい。図１を例にすると、図１における視野角Ａは過去視野角であり、視野角Ａでのｍ１、ｍ２、ｍ３およびｍ４は第二基準点であり、ここで、ｍ１とｍ３は一つの点対であり、ｍ２とｍ４は一つの点対であり、図１における視野角Ｂは現在視野角であり、視野角Ｂでのｎ１、ｎ２、ｎ３およびｎ４は第一基準点であり、ここで、ｎ１とｎ３は一つの点対であり、ｎ２とｎ４は一つの点対である。

例えば、過去視野角を前記図１における視野角Ａ、現在視野角を図１における視野角Ｂとすると、視野角Ａでのカメラの座標から世界座標へのマッピング関係は事前に取得および記録されることができる。さらに、本ステップでは、前記第一基準点および第二基準点に基づき、視野角Ｂから視野角Ａでのカメラ座標へのマッピング関係を得ることができる。さらに、視野角Ｂから視野角Ａへのマッピング関係と、視野角Ａから世界座標へのマッピング関係とを統合すれば、視野角Ｂから世界座標へのマッピング関係を得ることができる。

以下に一例により説明する。

視野角Ａでの第二基準点をＭ＝｛ｍ１，ｍ２，．．．，ｍ６，．．．｝、視野角Ｂでの第一基準点をＮ＝｛ｎ１，ｎ２，．．．，ｎ３，．．．｝、視野角Ａでのカメラの座標から世界座標への予め設定されたホモグラフィ行列を
とすると、まず座標点集合Ｍ−Ｎの対応関係によって、ｏｐｅｎｃｖにおけるｆｉｎｄＨｏｍｏｇｒａｐｈｙ関数を使用し、視野角Ｂから視野角Ａへのホモグラフィ行列
を取得し、さらに、Ｈ３とＨ１とを乗算すれば、第一ホモグラフィ行列ＨＴ、具体的には、

を得ることができる。

Ｓ２０５において、第一ホモグラフィ行列に基づいて測位する。

本実施例では、現在視野角の第一基準点情報および過去視野角での第二基準点情報に基づき、カメラのリアルタイム姿勢を反映可能な現在視野角でのカメラの座標から世界座標への第一ホモグラフィ行列を生成し、さらに該第一ホモグラフィ行列に基づいて視覚測位を行い、それによりカメラの姿勢が変化した後、ユーザはパラメータを手動で計測する必要なく、視覚測位を正常に行うことができ、それにより操作の複雑度を低下させ、ユーザの使用体験を大幅に向上させる。

本願の任意選択的な一実施例では、第一ホモグラフィ行列を特定してから、前記予め設定されたホモグラフィ行列を更新し、前記第一ホモグラフィ行列を新たな予め設定されたホモグラフィ行列とし、該新たな予め設定されたホモグラフィ行列に基づいて視覚測位を行うことができる。

上記実施例のもとに、本実施例は第一ホモグラフィ行列に基づいて測位する具体的なプロセスに関する。

本願の一つ以上の実施例によれば、該第一ホモグラフィ行列を直接使用して測位することができる。具体的には、まずカメラで取得したビデオストリームに基づいて現在視野角でのカメラ座標を得て、続いてカメラ座標と該第一ホモグラフィ行列とを乗算し、それにより現在視野角での世界座標を得ることができる。

説明すべきは、具体的に実施する時、カメラの所在位置を現在視野角での座標原点と見なしてもよいことであり、そうすると、現在視野角での世界座標を得てから、カメラに対する目標物体の位置が得られ、それにより視覚測位が完了される。本願の以下の実施例では第一ホモグラフィ行列に基づいて現在視野角の世界座標を得る原理はいずれもこれと同様であり、詳細な説明は繰り返さない。

現実世界では、異なる路面における区画線の幅は必ずしも同じではないため、該第一ホモグラフィ行列を直接使用して測位する場合、得られた縦方向および横方向の距離は実際の距離との間にオフセットが出る可能性があるため、本願の実施例では、また別の任意選択的な実施形態を採用してもよく、つまり第一ホモグラフィ行列を較正し、さらに較正後のホモグラフィ行列に基づいて測位し、それによって測位結果をより正確にすることができる。

該任意選択的な実施形態では、前記第一ホモグラフィ行列に基づいて測位する前記ステップは、縦方向較正情報および横方向較正情報に基づき、前記第一ホモグラフィ行列を較正し、較正パラメータを得ることと、該較正パラメータおよび前記第一ホモグラフィ行列に基づいて測位することと、を含む。

本願の一つ以上の実施例によれば、目標物体の位置はその世界座標での縦座標および横座標によって決定される。例示的に、ある目標物体のカメラに対する横座標を３、縦座標を４とすると、該座標３および座標４の一意性によって目標物体の位置を特定することができる。それに対して、第一ホモグラフィ行列の偏差は横方向の偏差および縦方向の偏差により共同で形成されるため、本実施例では、縦方向較正情報および横方向較正情報に基づいて第一ホモグラフィ行列を較正し、それにより較正パラメータを得て、さらに較正パラメータおよび第一ホモグラフィ行列に基づいて測位する。

そのうち、前記縦方向較正情報はピッチ角などを含んでもよく、前記横方向較正情報は水平偏角などを含んでもよい。

具体的な実行プロセスは下記実施例において例を挙げて説明する。

以下に本願の実施例の応用シーンを説明する。本願の実施例に係る解決手段は知的運転シーン、例えば運転支援または自動運転シーンにおいて用いることができる。そのうち、無人運転システムまたはＡＤＡＳシステムは知的転分野に用いられるシステムであり、本願の実施例は以下にＡＤＡＳシステムを例にして本願の実施例の方法の知的運転シーンにおける応用プロセスを説明するが、当然、本願の実施例はこれに限定されない。

一つのシーンでは、ユーザが手動で入力するまたはＡＤＡＳシステムが特定のトリガ条件下で入力する較正命令を受信してから、上記ステップＳ２０１の実行をトリガし、さらにＳ２０１の後続のステップを実行する。一実施形態としては、ステップ２０２について、区画線検出結果に基づいて前記カメラの現在視野角の第一基準点情報を特定する前記ステップは、較正命令を受信することと、前記較正命令に応じて、区画線検出結果に基づいて前記カメラの現在視野角の第一基準点情報を特定することと、を含む。

例示的に、ユーザが手動でカメラの取付位置を調整した後、ユーザはＡＤＡＳシステムのインタフェースにおいてボタンクリックまたは音声などの方式で較正命令を入力することができ、システムはユーザが入力する較正命令を受信してから、上記ステップＳ２０１およびその後続のステップを実行し、それによりカメラの取付位置が変化した後、正確に測位することができる。

別のシーンでは、ユーザが較正命令を出す必要がなく、ＡＤＡＳシステムはカメラの姿勢が変化したかどうかを判断し、変化したと判断した場合、上記ステップＳ２０１および後続のステップの実行をトリガすることができる。別の実施形態としては、ステップ２０２について、区画線検出結果に基づいて前記カメラの現在視野角の第一基準点情報を特定する前記ステップは、カメラの姿勢が変化したかどうかを判断し、変化したと判断した場合、区画線検出結果に基づいて前記カメラの現在視野角の第一基準点情報を特定することを含む。

例示的に、ＡＤＡＳシステムはカメラの姿勢をリアルタイムに推定し、隣接する２回の姿勢推定結果に基づいてカメラの姿勢が変化したかどうかを判断することができ、カメラの姿勢が変化したとすれば、ＡＤＡＳシステムは上記ステップＳ２０１およびその後続のステップを実行し、それによりカメラの取付位置が変化した後、正確に測位することができる。

本願の一つ以上の実施例によれば、前記方法はさらに、第一の予め設定された周期内の複数の第一ホモグラフィ行列および複数セットの較正パラメータを取得することと、該複数の第一ホモグラフィ行列の平均値および複数セットの較正パラメータの平均値に基づき、新たに測位することと、を含む。

例示的に、ＡＤＡＳシステムはさらに、第一の予め設定された周期を１０秒とし、この１０秒内で合計８群のデータ、即ち８個の第一ホモグラフィ行列および８群の較正パラメータを取得する場合、第一の予め設定された周期後の時点で、前の８群のデータの平均値を直接使用して新たに測位し、つまり前の８個の第一ホモグラフィ行列を平均したホモグラフィ行列を新たなホモグラフィ行列とし、前の８群の較正パラメータを平均した較正パラメータを新たな較正パラメータとし、新たなホモグラフィ行列および新たな較正パラメータに基づいて測位するという動作を実行することができる。

本願の一つ以上の実施例によれば、前記方法はさらに、第二の予め設定された周期間隔に応じて、第一ホモグラフィ行列および較正パラメータを取得することと、該第一ホモグラフィ行列および該較正パラメータに基づいて新たに測位することと、を含む。

例示的に、ＡＤＡＳシステムはさらに、第二の予め設定された周期を５秒とし、５秒おきに１回第一ホモグラフィ行列および較正パラメータを取得し、さらに次の５秒の周期内で、前の周期で取得した第一ホモグラフィ行列および較正パラメータを使用して測位するという動作を実行することができる。

上記実施例のもとに、本実施例は第一ホモグラフィ行列を較正し、較正パラメータを得る具体的な実行プロセスに関する。

図３は本願の実施例が提供する視覚測位方法の実施例のフローチャートであり、図３に示すように、第一ホモグラフィ行列を較正し、較正パラメータを得る上記ステップは、具体的に以下を含むことができる。

Ｓ３０１において、区画線検出結果、前記第一ホモグラフィ行列およびカメラのピッチ角情報に基づき、縦方向較正の比例係数およびオフセット量を特定する。

Ｓ３０２において、前記第一ホモグラフィ行列および水平偏角情報に基づき、横方向較正の比例係数を特定する。

本願の一つ以上の実施例によれば、本実施例を実行する前に、前記ピッチ角情報および水平偏角情報を優先的に特定する必要がある。

本願の一つ以上の実施例によれば、前記第一ホモグラフィ行列を較正し、較正パラメータを得る前記ステップの前に、前記方法はさらに、区画線検出結果に基づき、カメラのピッチ角情報および水平偏角情報を特定することを含む。

本願の一つ以上の実施例によれば、区画線検出結果に基づいて地平線情報およびルート情報を特定することができる。地平線情報は地平線関数であってもよく、ルート情報はルート関数であってもよい。

なお、本願の実施例で言及された関数の具体的な数学的表現形式は例に過ぎず、当業者であれば、本願をもとにして他の数学的表現形式の関数を構築することができ、本願が提供する例は本願の技術的解決手段を実質的に限定するものではないことを理解すべきである。

まず、地平線関数によって、主光軸画素座標から地平線関数までの距離（下記図４中のＰＱ）を計算し、さらに下式（１）によってピッチ角θを計算する。

θ＝ａｒｃｔａｎ（ＰＱ／（ｆ＊ｐｍ）） （１）
次に、ルート関数によって、主光軸画素座標からルート関数までの距離（下記図５中のＣＤ）を計算し、さらに下式（２）によって水平偏角φを計算する。

φ＝ａｒｃｔａｎ（ＣＤ／（ｆ＊ｐｍ）） （２）
本願の一つ以上の実施例によれば、またジャイロスコープなどのハードウェアを使用して加速度を取得し、加速度変化に基づいてピッチ角情報および水平偏角情報を取得するようにしてもよい。

さらに、本実施例では、具体的に縦方向較正の比例係数およびオフセット量を含む縦方向較正パラメータおよび具体的に横方向較正の比例係数である横方向較正パラメータをそれぞれ取得する。

本願の一つ以上の実施例によれば、縦方向較正パラメータの取得プロセスは以下のとおりである。

まず、図４に示すような縦方向較正の幾何モデルを作成し、該モデルにおいて、Ａは世界座標系での縦座標原点であり、Ｂ、Ｅは現在フレームと前のフレームの地上における同一点をそれぞれ表し、従って、ＢＥは車両（カメラ）の実際の変位量を表し、Ｂ’Ｅ’は前記第一ホモグラフィ行列を使用して計算した世界座標での変位量を表し、ＢＤ’、ＢＤ、ＧＮ、Ｅ’Ｆ’、ＥＦはいずれも地面と垂直であり、ＧＨは地面と平行であり、Ｄ’ＤＮＭＦ’ＦＱが存在する点線はカメラと同じ高さの地面平行線を表す。説明の便宜上、本実施例ではＢＧＭが存在する直線をカメラ投影面と定義し、従って、点Ｇは前のフレームの写真における点Ｅの位置であり、透視の原理によって得ることができ、ＧＭ、ＢＭはそれぞれ写真における実世界の地上の同一点の地平線との画素距離を表す。

図４に示す幾何モデルに基づき、まずカメラの現在フレームレートおよび車速に基づいて現在フレーム間の車両の実際の変位量ＢＥを計算する。ここで、カメラの現在フレームレートおよび車速は予め取得する必要がある。さらにビデオにおける同一点（例えば区画線の角点）を追跡し、それにより写真におけるＢ、Ｇの画素座標を取得する。本願の一つ以上の実施例によれば、オプティカルフロー追跡という追跡方式でビデオにおける同一点を追跡することができる。さらに、前記第一ホモグラフィ行列によってＢ’、Ｅ’、世界座標Ｆ’、Ｄ’を算出し、それによりＡＦ’、ＡＤ’を得る。同時に地平線関数（具体的な取得方式は下記実施例において説明する）によって、下記点から直線までの距離式（３）を利用し、Ｂ、Ｇ画素座標から地平線関数までの距離を計算すると、ＧＭ、ＢＭを得ることができ、さらに、式（４）を使用してＢＧを算出することができる。

（３）
ＢＧ ＝ ＢＭ−ＧＭ （４）

さらに、下式（５）を使用して縦方向較正の比例係数ｋを算出する。
（５）

下式（６）を使用してオフセット量ｂを算出する。
（６）

横方向較正パラメータの取得プロセスは以下のとおりである。

まず図５に示すような横方向較正の幾何モデルを作成し、該モデルにおいて、Ａは世界座標系での座標原点であり、Ｂはあるフレームの写真における地上の任意の点であり、従って、ＢＥは世界座標系での水平距離である。説明の便宜上、本実施例ではＤＣＢが存在する直線をカメラ投影面と定義し、従って、ＢＣは画素座標での点Ｂからルート関数（具体的な取得方式は下記実施例において説明する）までの距離である。ＡＨはカメラの焦点距離であり、ＦＨは実世界におけるカメラ撮像面の長さである。ＡＨおよびＦＨは予め取得する必要がある。

図５に示す幾何モデルに基づき、まず前記点から直線までの距離式（３）によってＢＣを算出する。続いて、上記得られた縦方向較正の比例係数ｋおよびオフセット量ｂに基づき、下式（７）を使用してＡＥを算出する。さらに前記第一ホモグラフィ行列に基づいてＢの世界座標を算出し、それによりＢＥ’を得る。そしてカメラの内部パラメータおよび前記水平偏角と組み合わせて、下式（８）を使用して横方向較正の比例係数ｋ’を計算する。

ＡＥ ＝ ｋ＊ＡＥ’ ＋ ｂ （７）

（８）

本願の一つ以上の実施例によれば、また現在視野角でのカメラで取得した複数のフレームの画像における同一目標物体の座標を比較分析することで、縦方向較正の比例係数およびオフセット量、および横方向較正の比例係数を特定するようにしてもよい。

上記実施例のもとに、本実施例は較正パラメータおよび第一ホモグラフィ行列に基づいて測位する具体的なプロセスに関する。

図６は本願の実施例が提供する視覚測位方法の実施例のフローチャートであり、図６に示すように、較正パラメータおよび第一ホモグラフィ行列に基づいて測位する任意選択的な一実施形態は以下のとおりである。

Ｓ６０１において、前記較正パラメータおよび前記第一ホモグラフィ行列に基づき、較正後の現在視野角でのカメラの座標と世界座標とのマッピング関係行列である第二ホモグラフィ行列を特定する。

例えば、前記第一ホモグラフィ行列と前記較正パラメータとを統合し、第二ホモグラフィ行列を形成する。

本願の一つ以上の実施例によれば、前記較正パラメータおよび前記第一ホモグラフィ行列に基づき、第二ホモグラフィ行列を特定する前記ステップは、カメラで取得したビデオストリームの画面における第一の予め設定された数の座標点に基づき、較正パラメータを分割して得られたパラメータである較正パラメータの少なくとも一つのサブパラメータを特定し、該少なくとも一つのサブパラメータに基づいて第二ホモグラフィ行列を特定することを含む。

本願の一つ以上の実施例によれば、前記サブパラメータは前記オフセット量ｂのサブパラメータである。

例示的に、オフセット量ｂのサブパラメータをｂ１、ｂ２およびｂ３とすると、任意の３つの座標点（それぞれ（ｘ１、ｙ１，１）、（ｘ２、ｙ２，１）、（ｘ３、ｙ３，１））を選択し、下式（９）によってサブパラメータｂ１、ｂ２およびｂ３を算出することができる。

（９）

さらに、サブパラメータｂ１、ｂ２およびｂ３、ならびに前記縦方向較正の比例ｋおよび横方向較正の比例係数ｋ’を前記第一ホモグラフィ行列へ併合し、第二ホモグラフィ行列を形成する。

以下に一例により説明する。

図像におけるある座標点
が存在し、前記第一ホモグラフィ行列がＨ_Ｔであるとすると、座標点Ｘの第一ホモグラフィ行列によるマッピングのみを経た世界座標は
となり、座標点Ｘの対応する実の世界座標は
とするべきである。

そうすると、行列演算によって、前記サブパラメータｂ１、ｂ２およびｂ３、ならびに前記縦方向較正の比例ｋおよび横方向較正の比例係数ｋ’を前記第一ホモグラフィ行列ＨＴへ併合した第二ホモグラフィ行列は
となる。

Ｓ６０２において、前記第二ホモグラフィ行列を使用して測位する。

実施例では、第一ホモグラフィ行列と較正パラメータとを統合し、較正後のホモグラフィ行列を形成し、それにより視覚測位時に該較正後のホモグラフィ行列を使用して視覚測位を素早く完了し、視覚測位の効率を向上させることができる。

図７は本願の実施例が提供する視覚測位方法の実施例のフローチャートであり、図７に示すように、較正パラメータおよび第一ホモグラフィ行列に基づいて測位する別の任意選択的な実施形態は以下のとおりである。

Ｓ７０１において、現在視野角でのカメラで取得したビデオストリームの画面における座標点の同次座標および前記第一ホモグラフィ行列に基づき、中間行列を特定する。

本願の一つ以上の実施例によれば、現在視野角でのカメラで取得したビデオストリームの画面における座標点の同次座標を前記第一ホモグラフィ行列と乗算し、中間行列を得る。

Ｓ７０２において、前記中間行列と前記較正パラメータに対して線形計算を行い、現在視野角での世界座標を得る。

ここで、前記カメラの座標点はカメラで取得した画面における任意の座標点であってもよく、ある座標点Ｘを（ｘ、ｙ）とすると、座標点Ｘの同次座標は
となる。

つまり、本実施例では、カメラで取得した画面におけるいずれの座標点についても、その同次座標行列を第一ホモグラフィ行列と直接乗算し、さらに前記較正パラメータとの線形計算を行うことで、該座標点の現在視野角での世界座標を得ることができる。

本実施例では、第一ホモグラフィ行列と較正パラメータとの統合処理を行わず、視覚測位が必要である場合、第一ホモグラフィ行列および較正パラメータを直接使用する。第一ホモグラフィ行列および較正パラメータが持続的に変化する場合、本実施例の方法を使用することで計算量を低減し、計算効率を向上させることができる。

上記実施例のもとに、本実施例は区画線検出結果に基づいて第一基準点情報を特定する具体的な方法に関する。

第一基準点を特定する前に、まず区画線検出結果に基づいて区画線平行線情報、地平線情報、消失点情報およびルート情報を特定する必要がある。

ここで、前記ルート情報とは車両の走行路線および路線の延長線の情報をいい、消失点はルートに沿った路面消失点である。

本願の一つ以上の実施例によれば、まず車両左右側の区画線の平行線関数をリアルタイムにフィッティングし、続いて区画線交点を統計して地平線関数と消失点とをフィッティングし、さらに地平線および消失点に基づいてルート関数を計算することができる。

例えば、区画線平行線関数のフィッティングについて、まず深層学習における分割方法によって区画線が存在する画素点をマークし、さらにｏｐｅｎｃｖによって現在の車両左右側の二つの区画線の曲線関数フィッティングを行うことができる。同時に、路面状況は直線道路である場合が多いため、統計方法に基づき、直線区画線平行線の確率マップを取得し、さらに該確率マップに基づいて車両左右側の直線区画線平行線の一次関数をフィッティングすることができる。または、区分関数などの方式で区画線平行線関数をフィッティングしてもよい。

地平線関数および消失点について、まず前記リアルタイムにフィッティングした区画線平行線関数によって、画像の座標範囲内の交点を計算する。続いて、車両が一定時間正常に走行した後、合流、曲がりなどの路面状況が存在するため、区画線交点の確率マップを得ることができ、該確率マップによって、密度に基づくクラスタリングアルゴリズム（ＤＢＳＣＡＮアルゴリズムなど）を使用して外れ値を除去すれば、地平線に落ちた一連の点を得ることができる。これらの点を使用すれば地平線平行線関数をフィッティングし、平均法などによって消失点座標を得ることができる。

ルート関数について、透視の原理によれば、前記フィッティングした地平線は必ずルートと直交し、同時にルートまたはその延長線は必ず消失点を経過することが知られる。従って、消失点を経過するように地平線の直交線関数を計算し、それをルート関数とする。または、オプティカルフローを使用して水平動きベクトルが０の点を計算し、さらにこれらの点でルート関数をフィッティングするようにしてもよい。

本願の一つ以上の実施例によれば、まず車両左右側の区画線平行線関数をリアルタイムにフィッティングし、続いてルート関数と消失点とをフィッティングし、さらにルートおよび消失点に基づいて地平線関数を計算することができる。

前記区画線情報、地平線情報およびルート情報を取得してから、これらの情報に基づいて第一基準点を特定する。

図８は本願の実施例が提供する視覚測位方法の実施例のフローチャートであり、図８に示すように、区画線検出結果に基づいて第一基準点を特定する具体的なプロセスは以下のとおりである。

Ｓ８０１において、区画線検出結果に基づいて区画線平行線情報および地平線平行線情報を特定する。

本願の一つ以上の実施例によれば、区画線検出結果に基づいて区画線平行線情報および地平線平行線情報を特定する前記ステップは、区画線検出結果に基づいて区画線平行線をフィッティングし、フィッティングした区画線平行線に基づき、地平線平行線情報を特定することを含む。

本願の一つ以上の実施例によれば、前記区画線平行線情報は前記区画線平行線関数であってもよく、前記地平線平行線情報は地平線平行線関数であってもよい。

Ｓ８０２において、前記区画線平行線情報、前記地平線平行線情報およびルート情報に基づいて前記第一基準点の座標を特定する。

本願の一つ以上の実施例によれば、前記区画線平行線情報、前記地平線平行線情報およびルート情報に基づいて前記第一基準点の座標を特定する前記ステップは、ルート方向での第二の予め設定された数の座標点を選択し、該第二の予め設定された数の座標点の地平線平行線情報を特定し、地平線平行線情報および区画線平行線情報に基づいて地平線平行線と区画線平行線との交点の座標を特定し、該座標を第一基準点の座標とすることを含む。

例えば、まず前記ルート関数に基づき、ルート方向から第二の予め設定された数の点を選択し、続いて、これらの点の地平線平行線関数を計算し、さらに該地平線平行線関数と区画線平行線関数との交点座標を計算し、これらの交点座標を前記第一基準点の座標とする。

本願の上記実施例では、前記カメラは路面の区画線を撮影可能な位置である車両における第一位置に取り付けてもよい。つまり、本願の実施例では、カメラの取付位置を限定せず、カメラが路面情報を撮影できれば、本願の実施例の方法によって視覚測位を実現できる。

また、本願の上記実施例では、車両に取り付けられたカメラで取得した車両走行路面のビデオストリームに基づいて前記路面の区画線検出を行う前記ステップは、車両が走行状態である時、車両に取り付けられたカメラで取得した車両走行路面のビデオストリームに基づいて前記路面の区画線検出を行い、さらに後続のステップを実行し、視覚測位を完了することを含む。

また、本願の実施例に記載のピッチ角は第一の予め設定された角度範囲内の任意の角度であってもよく、かつ、本願の実施例に記載の水平偏角は第二の予め設定された角度範囲内の任意の角度であってもよい。

図９は本願の実施例が提供する視覚測位装置の実施例の第一モジュール構成図であり、図９に示すように、該装置は、
車両に取り付けられたカメラで取得した車両走行路面のビデオストリームに基づいて前記車両走行路面の区画線検出を行うように構成される検出モジュール９０１と、
前記検出モジュール９０１により得られた区画線検出結果に基づいて前記カメラの現在視野角の第一基準点情報を特定するように構成される第一特定モジュール９０２と、
前記第一特定モジュール９０２により特定された前記第一基準点情報と、前記カメラの過去視野角の基準点情報である第二基準点情報とに基づき、第三ホモグラフィ行列を特定するように構成され、前記第二基準点の位置が前記第一基準点の位置に対応し合い、前記第三ホモグラフィ行列が、現在視野角でのカメラの座標と過去視野角でのカメラの座標とのマッピング関係を表すために用いる第二特定モジュール９０３と、
前記第二特定モジュール９０３により特定された前記第三ホモグラフィ行列と予め設定されたホモグラフィ行列とに基づいて第一ホモグラフィ行列を特定するように構成され、前記予め設定されたホモグラフィ行列が前記過去視野角でのカメラの座標と世界座標とのマッピング関係である第三特定モジュール９０４と、
前記第三特定モジュール９０４により特定された前記第一ホモグラフィ行列に基づいて測位するように構成される測位モジュール９０５と、を含む。

該装置は前記方法の実施例を実現するために用いられ、その実現原理は技術的効果に類似し、ここでは詳細な説明を繰り返さない。

本願の一つ以上の実施例によれば、前記測位モジュール９０５は、縦方向較正情報および横方向較正情報に基づき、前記第一ホモグラフィ行列を較正し、較正パラメータを得て、そして前記較正パラメータおよび前記第一ホモグラフィ行列に基づいて測位するように構成される。

本願の一つ以上の実施例によれば、前記測位モジュール９０５は、前記較正パラメータおよび前記第一ホモグラフィ行列に基づき、較正後の現在視野角でのカメラの座標と世界座標とのマッピング関係行列である第二ホモグラフィ行列を特定し、そして前記第二ホモグラフィ行列を使用して測位するように構成される第一測位ユニットを含む。

本願の一つ以上の実施例によれば、前記第一測位ユニットは、前記カメラで取得したビデオストリームの画面における第一の予め設定された数の座標点に基づき、前記較正パラメータを分割して得られたパラメータである前記較正パラメータの少なくとも一つのサブパラメータを特定し、そして前記サブパラメータに基づき、前記第二ホモグラフィ行列を特定するように構成される行列特定ユニットを含む。

本願の一つ以上の実施例によれば、前記測位モジュール９０５は、現在視野角でのカメラで取得したビデオストリームの画面における座標点の同次座標および前記第一ホモグラフィ行列に基づき、中間行列を特定し、そして前記中間行列と前記較正パラメータに対して線形計算を行い、現在視野角での世界座標を得るように構成される第二測位ユニットを含む。

本願の一つ以上の実施例によれば、前記測位モジュール９０５はさらに、区画線検出結果、前記第一ホモグラフィ行列およびカメラのピッチ角情報に基づき、縦方向較正の比例係数およびオフセット量を特定し、そして前記第一ホモグラフィ行列および水平偏角情報に基づき、横方向較正の比例係数を特定するように構成される較正ユニットを含む。

図１０は本願の実施例が提供する視覚測位装置の実施例の第二モジュール構成図であり、図１０に示すように、該装置はさらに、
区画線検出結果に基づき、前記ピッチ角情報および前記水平偏角情報を特定するように構成される第四特定モジュール９０６を含む。

本願の一つ以上の実施例によれば、前記第一特定モジュール９０２は、区画線検出結果に基づいて区画線平行線情報および地平線平行線情報を特定し、そして前記区画線平行線情報および地平線平行線情報ならびにルート情報に基づいて前記第一基準点の座標を特定するように構成される。

本願の一つ以上の実施例によれば、前記第一特定モジュール９０２は、ルート方向での第二の予め設定された数の座標点を選択し、そして前記第二の予め設定された数の座標点の地平線平行線情報を特定するように構成される第一特定ユニット、および前記地平線平行線情報および前記区画線平行線情報に基づいて地平線平行線と前記区画線平行線との交点の座標を特定し、そして前記交点の座標を前記第一基準点の座標とするように構成される第二特定ユニットを含む。

本願の一つ以上の実施例によれば、前記第一特定モジュール９０２は、区画線検出結果に基づいて区画線平行線をフィッティングし、そしてフィッティングした区画線平行線に基づき、地平線平行線情報を特定するように構成される第三特定ユニットを含む。

本願の一つ以上の実施例によれば、前記カメラは、路面の区画線を撮影可能な位置である前記車両における第一位置に取り付けられる。

本願の一つ以上の実施例によれば、前記検出モジュール９０１は、前記車両が走行状態である時、車両に取り付けられたカメラで取得した車両走行路面のビデオストリームに基づいて前記路面の区画線検出を行うように構成される。

本願の一つ以上の実施例によれば、前記ピッチ角は第一の予め設定された角度範囲内の任意の角度であり、前記水平偏角は第二の予め設定された角度範囲内の任意の角度である。

図１１は本願の実施例が提供する視覚測位装置の実施例の第三モジュール構成図であり、図１１に示すように、該装置はさらに、
前記予め設定されたホモグラフィ行列を更新し、前記第一ホモグラフィ行列を新たな予め設定されたホモグラフィ行列とするように構成される更新モジュール９０７を含む。

本願の一つ以上の実施例によれば、前記第一特定モジュール９０２はさらに、較正命令を受信し、そして前記較正命令に応じて、区画線検出結果に基づいて前記カメラの現在視野角の第一基準点情報を特定するように構成される。

本願の一つ以上の実施例によれば、前記第一特定モジュール９０２はさらに、カメラの姿勢が変化したかどうかを判断し、変化したと判断した場合、区画線検出結果に基づいて前記カメラの現在視野角の第一基準点情報を特定するように構成される。

図１２は本願の実施例が提供する視覚測位装置の実施例の第四モジュール構成図であり、図１２に示すように、該装置はさらに、
第一の予め設定された周期内の複数の第一ホモグラフィ行列および複数セットの較正パラメータを取得するように構成される第一取得モジュール９０８と、
前記複数の第一ホモグラフィ行列の平均値および前記複数セットの較正パラメータの平均値に基づき、新たに測位するように構成される第一処理モジュール９０９と、を含む。

図１３は本願の実施例が提供する視覚測位装置の実施例の第五モジュール構成図であり、図１３に示すように、該装置はさらに、
第二の予め設定された周期間隔に応じて、前記第一ホモグラフィ行列および前記較正パラメータを取得するように構成される第二取得モジュール９１０と、
前記第一ホモグラフィ行列および前記較正パラメータに基づいて新たに測位するように構成される第二処理モジュール９１１と、を含む。

説明すべきは、上記実施例が提供する視覚測位装置は視覚測位時、上記各プログラムモジュールの分割のみを例にして説明しており、実際の適用では、必要に応じて上記処理を異なるプログラムモジュールに割り当てて完了させることができ、つまり装置の内部構成を異なるプログラムモジュールに分割し、以上に記載の全てまたは一部の処理を完了することができるということである。また、上記実施例が提供する視覚測位装置は視覚測位方法の実施例と同一思想に属し、その具体的な実現プロセスの詳細は方法の実施例を参照すればよく、ここでは説明を省略する。

図１４は本願の実施例が提供する電子機器の実体のブロック図であり、図１４に示すように、該電子機器は、
プログラム命令を記憶するように構成されるメモリ１４０１と、
前記メモリ内のプログラム命令を呼び出して実行し、上記方法の実施例に記載の方法のステップを実行するように構成されるプロセッサ１４０２と、を含む。

なお、メモリ１４０１は揮発性メモリまたは非揮発性メモリであってもよいし、揮発性および非揮発性メモリの両者を含んでもよいことを理解すべきである。ここで、非揮発性メモリは読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ、Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、磁性面記憶装置、光ディスク、またはコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ、Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）であってもよく、磁性面記憶装置は磁気ディスク記憶装置または磁気テープ記憶装置であってもよい。揮発性メモリはランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であってもよく、それは外部高速キャッシュメモリとして用いられる。例示的であるが限定的ではない説明によって、様々な形式のＲＡＭは使用可能である。本発明の実施例に記載のメモリ１４０１はこれらおよび他の任意の適当なタイプに限定されないメモリを含もうとする。

上記本発明の実施例が開示する方法はプロセッサ１４０２において用いるか、またはプロセッサ１４０２によって実現することができる。プロセッサ１４０２は集積回路チップであり得、信号の処理能力を有する。実現プロセスでは、上記方法の各ステップはプロセッサ１４０２内のハードウェアの集積論理回路またはソフトウェア形式の命令によって完了できる。上記プロセッサ１４０２は共通プロセッサ、デジタル信号プロセッサ（ＤＳＰ、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、または他のプログラマブルロジックデバイス、離散ゲートもしくはトランジスタロジックデバイス、離散ハードウェアコンポーネントなどであってもよい。プロセッサ１４０２は本発明の実施例が開示する各方法、ステップおよび論理ブロック図を実現または実行することができる。共通プロセッサはマイクロプロセッサまたはあらゆる一般的なプロセッサなどであってもよい。

図１５は本願の実施例が提供する視覚測位システムのアーキテクチャ模式図であり、該システムは車両に用いられ、図１５に示すように、該システム１５００は車両に取り付けられたカメラ１５０１およびカメラ１５０１と接続される上記視覚測位装置１５０２を含む。

なお、本願の実施例が提供するいずれかの視覚測位装置、視覚測位システム、電子機器内の各部材、モジュールまたはユニットの動作プロセスおよび設定方式は、本願の上記方法の実施例の対応する記載を参照すればよいことを理解すべきであり、紙数に限りがあるので、ここでは詳細な説明を省略する。

本願の実施例はさらにコンピュータプログラムを提供し、前記コンピュータプログラムがコンピュータに本願の上記方法の実施例を実行させる対応の記載は、紙数に限りがあるので、ここでは詳細な説明を省略する。

当業者であれば、上記各方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完了できることを理解できる。前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能である。該プログラムは実行される時に、上記各方法の実施例を含むステップを実行する。

なお、本願が提供するいくつかの実施例では、開示した機器および方法は、他の形態で実現することができることを理解すべきである。以上に記載の機器の実施例は例示的なものに過ぎず、例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際に実現する場合に別の形態で分割してもよく、例えば、複数のユニットまたはコンポーネントは組み合わせてもよいし、または別のシステムに統合してもよいし、または一部の特徴を省略もしくは実行しなくてもよい。また、図示または説明した各構成要素の結合、または直接結合、または通信接続は、いくつかのインタフェース、機器またはユニットを介した間接結合または通信接続であり得、電気的、機械的または他の形態であり得る。

別々の部材として前述したユニットは物理的に分離されてもされなくてもよく、ユニットとして表示された部材は物理的ユニットであってもなくてもよい、即ち一箇所にあっても複数のネットワークユニットに分散してもよいし、本実施例の解決手段の目的を達成するには、実際の必要に応じて一部または全てのユニットを選択することができる。

また、本願の各実施例における各機能ユニットは全て一つの処理ユニットに統合されてもよいし、一つのユニットとして別々に使用されてもよいし、二つ以上で一つのユニットに統合されてもよく、上記統合されたユニットはハードウェアの形で、またはハードウェアとソフトウェアを組み合わせた機能ユニットの形で実現され得る。

当業者であれば、上記各方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完了できることを理解でき、前記プログラムは、携帯型記憶装置、読み取り専用メモリ（ＲＯＭ、Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記各方法の実施例を含むステップを実行する。

あるいは、本願の上記統合されたユニットはソフトウェア機能モジュールの形で実現されかつ独立した製品として販売または使用される場合、コンピュータ読み取り可能記憶媒体に記憶されてもよい。このような見解をもとに、本願の実施例の技術的解決手段は実質的にまたは従来技術に寄与する部分がソフトウェア製品の形で実施することができ、該コンピュータソフトウェア製品は記憶媒体に記憶され、コンピュータ機器（パーソナルコンピュータ、サーバ、またはネットワーク機器などであってもよい）に本願の各実施例に記載の方法の全てまたは一部を実行させる複数の命令を含む。前記記憶媒体は、携帯型記憶装置、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含む。

本願が提供するいくつかの方法の実施例が開示した方法は、矛盾なく任意に組み合わせて、新たな方法の実施例を得ることができる。

本願が提供するいくつかの製品の実施例が開示した特徴は、矛盾なく任意に組み合わせて、新たな製品の実施例を得ることができる。

本願が提供するいくつかの方法または機器の実施例が開示した特徴は、矛盾なく任意に組み合わせて、新たな方法の実施例または機器の実施例を得ることができる。

最後に、説明すべきは、以上の各実施例は本願の技術的解決手段を説明するためのものに過ぎず、それを限定するものではなく、前記各実施例を参照しながら本願を詳細に説明したが、当業者であれば、前記各実施例に記載の技術的解決手段に対する修正、またはその一部もしくは全ての技術的特徴に対する置換が可能であることは、当然理解されるものであり、これらの修正または置換は、該当する技術的解決手段の本質を本願の各実施例の技術的解決手段の範囲から逸脱させるものではないということである。

Claims (22)

1. 車両に取り付けられたカメラで取得した車両走行路面のビデオストリームに基づいて前記車両走行路面の区画線検出を行うことと、
   区画線検出結果に基づいて前記カメラの現在視野角の第一基準点情報を特定することと、
   前記第一基準点情報と、前記カメラの過去視野角の基準点情報である第二基準点情報とに基づき、第三ホモグラフィ行列を特定することであって、前記第二基準点の位置が前記第一基準点の位置に対応し合い、前記第三ホモグラフィ行列が、現在視野角でのカメラの座標系と過去視野角でのカメラの座標系とのマッピング関係を表すために用いることと、
   前記第三ホモグラフィ行列と予め設定されたホモグラフィ行列とに基づいて第一ホモグラフィ行列を特定することであって、前記予め設定されたホモグラフィ行列が前記過去視野角でのカメラの座標系と世界座標系とのマッピング関係であることと、
   前記第一ホモグラフィ行列に基づいて測位することと、を含む視覚測位方法。
2. 前記第一ホモグラフィ行列に基づいて測位する前記ステップは、
   縦方向較正情報および横方向較正情報に基づき、前記第一ホモグラフィ行列を較正し、較正パラメータを得ることと、
   前記較正パラメータおよび前記第一ホモグラフィ行列に基づいて測位することと、を含む請求項１に記載の方法。
3. 前記較正パラメータおよび前記第一ホモグラフィ行列に基づいて測位する前記ステップは、
   前記較正パラメータおよび前記第一ホモグラフィ行列に基づき、較正後の現在視野角でのカメラの座標系と世界座標系とのマッピング関係行列である第二ホモグラフィ行列を特定することと、
   前記第二ホモグラフィ行列を使用して測位することと、を含む請求項２に記載の方法。
4. 前記較正パラメータおよび前記第一ホモグラフィ行列に基づき、第二ホモグラフィ行列を特定する前記ステップは、
   前記カメラで取得したビデオストリームの画面における第一の予め設定された数の座標点に基づき、前記較正パラメータの少なくとも一つのサブパラメータを特定することであって、前記少なくとも一つのサブパラメータが前記較正パラメータを分割して得られたパラメータであることと、
   前記少なくとも一つのサブパラメータに基づき、前記第二ホモグラフィ行列を特定することと、を含む請求項３に記載の方法。
5. 前記較正パラメータおよび前記第一ホモグラフィ行列に基づいて測位する前記ステップは、
   現在視野角でのカメラで取得したビデオストリームの画面における座標点の同次座標および前記第一ホモグラフィ行列に基づき、中間行列を特定することと、
   前記中間行列と前記較正パラメータに対して線形計算を行い、現在視野角での世界座標を得ることと、を含む請求項２に記載の方法。
6. 前記第一ホモグラフィ行列を較正し、較正パラメータを得る前記ステップは、
   区画線検出結果、前記第一ホモグラフィ行列およびカメラのピッチ角情報に基づき、縦方向較正の比例係数およびオフセット量を特定することと、
   前記第一ホモグラフィ行列および水平偏角情報に基づき、横方向較正の比例係数を特定することと、を含む請求項２から５のいずれか一項に記載の方法。
7. 前記第一ホモグラフィ行列を較正し、較正パラメータを得る前記ステップの前に、さらに、
   区画線検出結果に基づき、前記ピッチ角情報および前記水平偏角情報を特定することを含む請求項６に記載の方法。
8. 区画線検出結果に基づいて前記カメラの現在視野角の第一基準点情報を特定する前記ステップは、
   区画線検出結果に基づいて区画線平行線情報および地平線平行線情報を特定することと、
   前記区画線平行線情報、前記地平線平行線情報およびルート情報に基づいて前記第一基準点の座標を特定することと、を含む請求項１から７のいずれか一項に記載の方法。
9. 前記区画線平行線情報、前記地平線平行線情報およびルート情報に基づいて前記第一基準点の座標を特定する前記ステップは、
   ルート方向での第二の予め設定された数の座標点を選択することと、
   前記第二の予め設定された数の座標点の地平線平行線情報を特定することと、
   前記地平線平行線情報および前記区画線平行線情報に基づいて地平線平行線と前記区画線平行線との交点の座標を特定することと、
   前記交点の座標を前記第一基準点の座標とすることと、を含む請求項８に記載の方法。
10. 区画線検出結果に基づいて区画線平行線情報および地平線平行線情報を特定する前記ステップは、
    区画線検出結果に基づいて区画線平行線をフィッティングすることと、
    フィッティングした区画線平行線に基づき、地平線平行線情報を特定することと、を含む請求項８または９に記載の方法。
11. 前記カメラは、路面の区画線を撮影可能な位置である前記車両における第一位置に取り付けられる請求項１から１０のいずれか一項に記載の方法。
12. 車両に取り付けられたカメラで取得した車両走行路面のビデオストリームに基づいて前記路面の区画線検出を行う前記ステップは、
    前記車両が走行状態である時、車両に取り付けられたカメラで取得した車両走行路面のビデオストリームに基づいて前記路面の区画線検出を行うことを含む請求項１から１１のいずれか一項に記載の方法。
13. さらに、
    前記予め設定されたホモグラフィ行列を更新し、前記第一ホモグラフィ行列を新たな予め設定されたホモグラフィ行列とすることを含む請求項１から１２のいずれか一項に記載の方法。
14. 区画線検出結果に基づいて前記カメラの現在視野角の第一基準点情報を特定する前記ステップは、
    較正命令を受信することと、
    前記較正命令に応じて、区画線検出結果に基づいて前記カメラの現在視野角の第一基準点情報を特定することと、を含む請求項１から１３のいずれか一項に記載の方法。
15. 区画線検出結果に基づいて前記カメラの現在視野角の第一基準点情報を特定する前記ステップは、
    カメラの姿勢が変化したかどうかを判断し、変化したと判断した場合、区画線検出結果に基づいて前記カメラの現在視野角の第一基準点情報を特定することを含む請求項１から１３のいずれか一項に記載の方法。
16. さらに、
    第一の予め設定された周期内の複数の第一ホモグラフィ行列および複数セットの較正パラメータを取得することと、
    前記複数の第一ホモグラフィ行列の平均値および前記複数セットの較正パラメータの平均値に基づき、新たに測位することと、を含む請求項１から１５のいずれか一項に記載の方法。
17. さらに、
    第二の予め設定された周期間隔に応じて、前記第一ホモグラフィ行列および前記較正パラメータを取得することと、
    前記第一ホモグラフィ行列および前記較正パラメータに基づいて新たに測位することと、を含む請求項２から７のいずれか一項に記載の方法。
18. 車両に取り付けられたカメラで取得した車両走行路面のビデオストリームに基づいて前記車両走行路面の区画線検出を行うように構成される検出モジュールと、
    区画線検出結果に基づいて前記カメラの現在視野角の第一基準点情報を特定するように構成される第一特定モジュールと、
    前記第一基準点情報と、前記カメラの過去視野角の基準点情報である第二基準点情報とに基づき、第三ホモグラフィ行列を特定するように構成され、前記第二基準点の位置が前記第一基準点の位置に対応し合い、前記第三ホモグラフィ行列が、現在視野角でのカメラの座標系と過去視野角でのカメラの座標系とのマッピング関係を表すために用いる第二特定モジュールと、
    前記第三ホモグラフィ行列と予め設定されたホモグラフィ行列とに基づいて第一ホモグラフィ行列を特定するように構成され、前記予め設定されたホモグラフィ行列が前記過去視野角でのカメラの座標系と世界座標系とのマッピング関係である第三特定モジュールと、
    前記第一ホモグラフィ行列に基づいて測位するように構成される測位モジュールと、を含む視覚測位装置。
19. プログラム命令を記憶するように構成されるメモリと、
    前記メモリ内のプログラム命令を呼び出して実行し、請求項１から１７のいずれか一項に記載の方法のステップを実行するように構成されるプロセッサと、を含む電子機器。
20. 請求項１から１７のいずれか一項に記載の方法のステップを実行するためのコンピュータプログラムが記憶されている読み取り可能な記憶媒体。
21. 視覚測位システムであって、車両に適用され、
    前記車両に取り付けられたカメラ、および前記カメラと通信的に接続される請求項１８に記載の視覚測位装置を含む視覚測位システム。
22. コンピュータに請求項１から１７のいずれか一項に記載の方法を実行させるコンピュータプログラム。