JP7321231B2

JP7321231B2 - 路側カメラの外部パラメータに基づく三次元感知情報取得方法及び路側機器

Info

Publication number: JP7321231B2
Application number: JP2021178763A
Authority: JP
Inventors: 立彬苑; 金讓賈; 光啓易
Original assignee: Apollo Intelligent Connectivity Beijing Technology Co Ltd
Current assignee: Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority date: 2020-12-30
Filing date: 2021-11-01
Publication date: 2023-08-04
Anticipated expiration: 2041-11-01
Also published as: JP2022014921A; EP3940636A2; KR102571066B1; EP3940636A3; CN112668505A; US11893884B2; US20220028260A1; KR20210132624A

Description

本願は、コンピュータ技術における自動運転、スマート交通及びコンピュータビジョンに関し、特に、路側カメラの外部パラメータに基づく三次元感知情報取得方法及び路側機器に関する。

路側感知システムにおいては、車両のために三次元感知情報を提供する必要があり、交差点に路側カメラを設け、路側カメラを介して画像を取得し、路側カメラにより取得される画像に基づいて三次元感知情報を取得することができる。路側カメラにより取得される画像に基づいて三次元感知情報を取得する際に、路側カメラのワールド座標系での回転行列を得る必要がある。

従来技術において、予め高精度マップまたは人工リアルタイムキネマティック（ｒｅａｌ－ｔｉｍｅｋｉｎｅｍａｔｉｃ，略称ＲＴＫ）機器によりドットする方法で、路側カメラのワールド座標系での回転行列を得て、さらに、三次元感知情報を生成することができる。

しかしながら、従来技術において、高精度マップの製造コストが高く、且つ、車線ラインがないと高精度マップを使用することができないため、路側カメラのワールド座標系での回転行列を決定するコストが高くなり、人工ＲＴＫ機器によりドットする方法は、効率が低く、人的危険の問題が存在し、路側カメラのワールド座標系での回転行列を即時且つ効果的に得ることができない。以上の方法により、効果的且つ迅速に三次元感知情報を得ることができない。

本願は、効果的且つ迅速に三次元感知情報を得るための路側カメラの外部パラメータに基づく三次元感知情報取得方法及び路側機器を提供する。

本願の第１の態様によれば、路側カメラの外部パラメータに基づく三次元感知情報取得方法を提供し、前記路側カメラは、第１のカメラと第２のカメラを含み、前記第１のカメラと前記第２のカメラの間には、共通視認領域を有し、前記方法は、
第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを取得し、前記第１のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成するステップと、
第２のカメラのワールド座標系での回転行列を表す第２の回転行列を取得し、前記第１の回転行列と前記第２の回転行列に基づき、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を生成するステップと、
前記第３の回転行列に基づき、前記第１のカメラにより収集される画像の三次元感知情報を生成するステップと、を含む。

本願の第２の態様によれば、路側カメラの外部パラメータに基づく三次元感知情報取得装置を提供し、前記路側カメラは、第１のカメラと第２のカメラを含み、前記第１のカメラと前記第２のカメラの間には、共通視認領域を有し、前記装置は、
第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを取得するための第１の取得ユニットと、
前記第１のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成するための第１の生成ユニットと、
第２のカメラのワールド座標系での回転行列を表す第２の回転行列を取得するための第２の取得ユニットと、
前記第１の回転行列と前記第２の回転行列に基づき、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を生成するための第２の生成ユニットと、
前記第３の回転行列に基づき、前記第１のカメラにより収集される画像の三次元感知情報を生成するための第３の生成ユニットと、を含む。

本願の第３の態様によれば、電子機器を提供し、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサに通信可能に接続されるメモリと、を含み、前記メモリには、前記少なくとも１つのプロセッサにより実行可能な命令が記憶されており、前記命令は、前記少なくとも１つのプロセッサが上記方法を実行できるように、前記少なくとも１つのプロセッサにより実行される。

本願の第４の態様によれば、コンピュータ命令が記憶された非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、コンピュータに上記方法を実行させるために用いられる。

本願の第５の態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムが読み取り可能な記憶媒体に記憶されており、電子機器の少なくとも１つのプロセッサは、前記読み取り可能な記憶媒体から前記コンピュータプログラムを読み取ることができ、前記少なくとも１つのプロセッサは、電子機器が第１の態様に記載の方法を実行するように、前記コンピュータプログラムを実行する。

本願の第６の態様によれば、路側機器を提供し、第３の態様により提供される電子機器を含む。

本願の第７の態様によれば、クラウド制御プラットフォームを提供し、第３の態様により提供される電子機器を含む。

本願の技術案によれば、第１のカメラにより収集される画像の三次元感知情報を生成する際に、高精度マップ又は人工ＲＴＫ機器によりドットする方法を採用する必要がなく、これにより、コストが削減され、且つ、効率が向上し、人の安全が確保され、さらに、効果的に第１のカメラにより収集される画像における三次元感知情報を得る。また、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであると、リアビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得ることができ、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラであると、フロントビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得ることができる。

なお、この一部に記載されている内容は、本願の実施例の主要な又は重要な特徴を特定することを意図しておらず、本願の範囲を限定するものでもない。本願の他の特徴は、以下の説明を通じて容易に理解される。

図面は、本技術案をよりよく理解するために使用され、本願を限定するものではない。
魚眼カメラにより撮影される画像である。本願の第１の実施例による概略図である。本願の第２の実施例による概略図である。本願の実施例により提供される第１の歪み除去画像の概略図である。本願の第３の実施例による概略図である。本願の第４の実施例による概略図である。本願の第５の実施例による概略図である。本願の第６の実施例による概略図である。本願の第７の実施例による概略図である。本願の第８の実施例による概略図である。本願の第９の実施例による概略図である。本願の実施例を実施するための例示的な電子機器１２００の概略ブロック図を示している。

以下、図面を組み合わせて本願の例示的な実施例を説明し、理解を容易にするために、その中には本願の実施例の様々な詳細事項が含まれており、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができる。同様に、わかりやすくかつ簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。

路側感知システムにおいて車両のために三次元感知情報を提供する必要があり、交差点のポールに路側カメラを設けることができ、路側カメラは、魚眼カメラ、リアビューガン型カメラ及びフロントビューガン型カメラを含み、一般的に、各交差点のポールに魚眼カメラ、リアビューガン型カメラ及びフロントビューガン型カメラを同時に設ける。路側カメラを介して画像を取得し、各路側カメラにより取得される画像に基づいて各路側カメラにより収集される画像の三次元感知情報を取得する。

路側カメラにより取得される画像に基づいて三次元感知情報を取得する際に、路側カメラのワールド座標系での回転行列を得、そして、路側カメラのワールド座標系での回転行列に基づき、路側カメラにより収集される画像の三次元感知情報を得る必要がある。例を挙げて説明すると、図１は、魚眼カメラにより撮影された画像であり、魚眼カメラにより収集された画像は歪んだ画像であり、魚眼カメラのワールド座標系での回転行列を得ることにより、魚眼カメラにより収集される画像の三次元感知情報を得る必要がある。

従来技術において、予め高精度マップまたはＲＴＫ機器によりドットする方法で、各路側カメラのワールド座標系での回転行列を得て、さらに、各路側カメラにより収集される画像の三次元感知情報を生成することができる。１つの例示では、予め高精度マップまたはＲＴＫ機器によりドットする方法で、マークポイントのＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）三次元座標を取得することができ、そして、各路側カメラは、画像を収集し、画像上のマークポイントの二次元座標を決定し、各路側カメラに対し、マークポイントの三次元座標及びマークポイントの二次元座標に基づき、ＰＮＰ（ｐｅｓｐｅｃｔｉｖｅ－ｎ－ｐｏｉｎｔ，略称ＰＮＰ）レゾリューション処理を行い、各路側カメラのワールド座標系での回転行列を得る。

しかしながら、上記方法において、高精度マップの製造コストが高く、且つ、車線ラインがないと高精度マップを使用することができないため、路側カメラのワールド座標系での回転行列を決定するコストが高くなり、人工ＲＴＫ機器によりドットする方法は、効率が低く、人的危険の問題が存在し、路側カメラのワールド座標系での回転行列を即時且つ効果的に得ることができない。

本願は、路側カメラの外部パラメータに基づく三次元感知情報取得方法及び路側機器を提供し、コンピュータ技術における自動運転、スマート交通及びコンピュータビジョンに適用され、路側カメラのワールド座標系での回転行列を正確且つ迅速に得、さらに、三次元感知情報を効果的且つ迅速に得ることを達成する。

図２は、本願の第１の実施例による概略図であり、図２に示すように、本実施例により提供される路側カメラの外部パラメータに基づく三次元感知情報取得方法は、以下のステップを含む。

ステップ２０１では、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを取得し、第１のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成する。

例示的に、本実施例では、路側カメラは、第１のカメラと第２のカメラを含み、第１のカメラと第２のカメラとの間には、共通視認領域を有する。１つの例示では、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであるか、または、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラである。

本実施例の実行主体は、電子機器であってもよく、電子機器は、端末機器であるか、または、サーバであるか、または、本実施例の方法を実行可能なその他の装置又は機器であってもよい。または、本願における各実施例の実行主体は、さまざまな路側機器であってもよく、路側機器として、例えば、計算機能を持つ路側感知機器、路側感知機器に接続される路側計算機器がある。本願における各実施例の実行主体は、路側計算機器に接続されるサーバ機器、又は、路側感知機器に直接に接続されるサーバ機器などであってもよく、本願において、サーバ機器として、例えば、クラウド制御プラットフォーム、車両道路コラボレーション管理プラットフォーム、セントラルサブシステム、エッジコンピューティングプラットフォーム、クラウドコンピューティングプラットフォームなどがある。スマート交通車両道路コラボレーションのシステムアーキテクチャにおいて、路側機器は路側感知機器及び路側計算機器を含み、路側感知機器（例えば、路側カメラ）が路側計算機器（例えば、路側計算ユニットＲＳＣＵ）に接続され、路側計算機器がサーバ機器に接続され、サーバ機器は、さまざまな方法を用いて自動運転又は補助運転車両と通信することができ、他のシステムアーキテクチャにおいて、路側感知機器自身が計算機能を持つと、路側感知機器は、前記サーバ機器に直接に接続される。上記の接続は、有線又は無線の接続であってもよく、本願において、サーバ機器として、例えば、クラウド制御プラットフォーム、車両道路コラボレーション管理プラットフォーム、セントラルサブシステム、エッジコンピューティングプラットフォーム、クラウドコンピューティングプラットフォームなどがある。

まず、以下の概念について説明する。「リアビューガン型カメラ座標系」とは、リアビューガン型カメラにより収集される画像が使用する座標系のことである。「フロントビューガン型カメラ座標系」とは、フロントビューガン型カメラにより収集される画像が使用する座標系のことである。「魚眼カメラ座標系」とは、魚眼カメラにより収集される画像が使用する座標系のことである。

第１のカメラと第２のカメラは、共通視認領域を有するため、共通視認領域に対し、第１のカメラにより収集される画像における当該共通視認領域と第２のカメラにより収集される画像における当該共通視認領域との間の第１のマッチングポイントペアを生成することができ、第１のマッチングポイントペアは、Ｎペアの画像点を含み、各ペアの画像点は、第１のカメラに対応する歪み除去画像上の１つの画像点と第２のカメラに対応する歪み除去画像上の１つの画像点を含み、Ｎは１より大きいか、又は等しい正の整数である。第１のマッチングポイントペアにおける各画像点は、いずれも二次元の画像点である。

そして、エピポーラジオメトリアルゴリズムを採用して第１のマッチングポイントペアを処理し、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を得ることができる。

ステップ２０２では、第２のカメラのワールド座標系での回転行列を表す第２の回転行列を取得し、第１の回転行列と第２の回転行列に基づき、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を生成する。

例示的に、高精度マップまたはＲＴＫ機器によりドットする方法で、第２のカメラのワールド座標系での回転行列を表す第２の回転行列を取得することができる。

そして、第１の回転行列と第２の回転行列に対して行列乗算処理を行い、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を得る。

ステップ２０３では、第３の回転行列に基づき、第１のカメラにより収集される画像の三次元感知情報を生成する。

例示的に、第１のカメラにより収集される画像に含まれるのは二次元感知情報であり、第三回転行列は第１のカメラのワールド座標系での回転行列を表すため、第３の回転行列に基づき、第１のカメラにより収集される画像における二次元感知情報をワールド座標系に変換し、さらに、第１のカメラにより収集される画像の三次元感知情報を得ることができる。

ただし、二次元感知情報とは、二次元画像における物体の画素座標のことである。１つの例示では、二次元感知情報は、画像における物体の二次元感知情報であってもよく、物体は、動力車、軽車両、歩行者及び車線ラインなどを含むが、それらに限定されない。

１つの例示では、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであると、リアビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得ることができる。これにより、「リアビューガン型カメラのワールド座標系での回転行列」及び「魚眼カメラのワールド座標系での回転行列」を得、高精度マップまたは人工ＲＴＫ機器によりドットする方法を採用して魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得る必要がなく、コストを削減し、効率を向上させ、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を効果的且つ迅速に得て、さらに、魚眼カメラにより収集される画像の三次元感知情報を効果的且つ迅速に得ることができる。

第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであると、魚眼カメラとリアビューガン型カメラは共通視認領域を有し、これにより、共通視認領域に対し、魚眼カメラにより収集される画像における当該共通視認領域とリアビューガン型カメラにより収集される画像における当該共通視認領域との間の第１のマッチングポイントペアを生成することができ、第１のマッチングポイントペアは、Ｎペアの画像点を含み、各ペアの画像点は、魚眼カメラに対応する歪み除去画像上の１つの画像点とリアビューガン型カメラに対応する歪み除去画像上の１つの画像点を含む。

そして、エピポーラジオメトリアルゴリズムを採用して第１のマッチングポイントペアを処理し、第１の回転行列を得ることができ、第１の回転行列は、魚眼カメラのリアビューガン型カメラ座標系での回転行列を表す。「リアビューガン型カメラ座標系」とは、リアビューガン型カメラにより収集される画像が使用する座標系のことである。

高精度マップまたはＲＴＫ機器によりドットする方法で、リアビューガン型カメラのワールド座標系での回転行列を表す第２の回転行列を取得することができる。

そして、第１の回転行列と第２の回転行列に対して行列乗算処理を行い、魚眼カメラのワールド座標系での回転行列を表す第３の回転行列を得る。第３の回転行列に基づき、魚眼カメラにより収集される画像における二次元感知情報をワールド座標系に変換し、さらに、魚眼カメラにより収集される画像の三次元感知情報を得る。

他の例では、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラであると、フロントビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得ることができる。これにより、「フロントビューガン型カメラのワールド座標系での回転行列」及び「魚眼カメラのワールド座標系での回転行列」を得、高精度マップまたは人工ＲＴＫ機器によりドットする方法を採用して魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得る必要がなく、コストを削減し、効率を向上させ、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を効果的且つ迅速に得、さらに、魚眼カメラにより収集される画像の三次元感知情報を効果的且つ迅速に得ることができる。

第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラであると、魚眼カメラとフロントビューガン型カメラは共通視認領域を有し、これにより、共通視認領域に対し、魚眼カメラにより収集される画像における当該共通視認領域とフロントビューガン型カメラにより収集される画像における当該共通視認領域との間の第１のマッチングポイントペアを生成することができ、第１のマッチングポイントペアは、Ｎペアの画像点を含み、各ペアの画像点は、魚眼カメラに対応する歪み除去画像上の１つの画像点とフロントビューガン型カメラに対応する歪み除去画像上の１つの画像点を含む。

そして、エピポーラジオメトリアルゴリズムを採用して第１のマッチングポイントペアを処理し、第１の回転行列を得ることができ、第１の回転行列は、魚眼カメラのフロントビューガン型カメラ座標系での回転行列を表す。「フロントビューガン型カメラ座標系」とは、フロントビューガン型カメラにより収集される画像が使用する座標系のことである。

高精度マップまたはＲＴＫ機器によりドットする方法で、フロントビューガン型カメラのワールド座標系での回転行列を表す第２の回転行列を取得する。

本実施例では、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアに基づき、第１の回転行列を生成し、第１の回転行列と第２の回転行列に基づき、第３の回転行列を生成し、第１の回転行列は、第１のカメラの第２のカメラ座標系での回転行列を表し、第２の回転行列は、第２のカメラのワールド座標系での回転行列を表し、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を得ることにより、第１のカメラのワールド座標系での回転行列を得、そして、第３の回転行列に基づき、第１のカメラにより収集される画像における二次元感知情報を三次元感知情報に変換することができる。第１のカメラにより収集される画像の三次元感知情報を生成する際に、高精度マップ又は人工ＲＴＫ機器によりドットする方法を採用する必要がなく、これにより、コストが削減され、且つ、効率が向上し、人の安全が確保され、さらに、効果的に第１のカメラにより収集される画像における三次元感知情報を得る。また、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであると、リアビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得ることができ、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラであると、フロントビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得ることができる。

図３は、本願の第２の実施例による概略図であり、図３に示すように、本実施例により提供される路側カメラの外部パラメータに基づく三次元感知情報取得方法は、以下のステップを含む。

ステップ３０１では、第１のカメラにより収集される画像に基づいて第１の歪み除去画像を生成し、第２のカメラにより収集される画像に基づいて第２の歪み除去画像を生成し、第１の歪み除去画像と第２の歪み除去画像は、それぞれ共通視認領域に位置する画像領域を有する。

１つの例示では、ステップ３０１は、第１のカメラにより収集される画像を球面に投影し、球面画像を得るステップと、球面画像に対して歪み除去処理を行い、第１の歪み除去画像を得るステップと、歪み除去関数を採用して第２のカメラにより収集される画像を調整し、第２の歪み除去画像を得るステップと、を含む。

本実施例の実行主体は、電子機器であってもよく、電子機器は、端末機器であるか、または、サーバであるか、または、本実施例の方法を実行可能なその他の装置又は機器であってもよい。

まず、第１のカメラにより収集される画像及び第２のカメラにより収集される画像を取得し、第１のカメラにより収集される画像に基づいて第１の歪み除去画像を生成し、第２のカメラにより収集される画像に基づいて第２の歪み除去画像を生成する。１つの例示では、第１のカメラと第２のカメラが、共通視認領域を有するため、第１のカメラにより収集される画像と第２のカメラにより収集される画像は、共通視認領域（即ち、同一の領域に対していずれも当該領域の画像が撮影される）を有し、これにより、第１の歪み除去画像と第２の歪み除去画像は、それぞれ共通視認領域に位置する画像領域を有する。

１つの例示では、第１のカメラが魚眼カメラである。第１のカメラにより収集される画像を球面に投影して、球面画像を得、図４は、本願の実施例により提供される第１の歪み除去画像の概略図であり、図４に示すように、球面画像に対して歪み除去処理を行い、第１の歪み除去画像を得る。このプロセスは、既存の歪み除去画像の生成方法を参照することができる。第１の歪み除去画像は、同等のガンカメラでの画像である。「同等のガンカメラ」とは、異なる路側カメラ（魚眼カメラ、リアビューガン型カメラ、フロントビューガン型カメラ）により収集される画像が１つガンカメラ（即ち、ガン型カメラ）にマッピングされることができるとき、当該ガンカメラは、同等のガンカメラと称されることができる。

第２のカメラはリアビューガン型カメラであるか、またはフロントビューガン型カメラである。第２のカメラにより収集される画像も歪みの問題があり、第２のカメラにより収集される画像を調整し、第２のカメラの第２の歪み除去画像を得ることができる。１つの例示では、ｏｐｅｎｃｖにおける歪み除去関数を採用し、第２のカメラにより収集される画像を調整して、第２の歪み除去画像を得ることができる。

例を挙げて説明すると、ｏｐｅｎｃｖの歪み除去関数を採用し、リアビューガン型カメラにより収集される画像に対して歪み除去処理を行い、リアビューガン型カメラの第２の歪み除去画像を得ることができる。

以上の方法で第１のカメラにより収集される画像を調整し、第１の歪み除去画像を得、第２のカメラにより収集される画像を調整し、第２の歪み除去画像を得ることができ、これにより、第１のマッチングポイントペアを得ることが容易になる。

ステップ３０２では、第１の歪み除去画像における、共通視認領域に位置する画像領域の第１の画像特徴を抽出し、第２の歪み除去画像における、共通視認領域に位置する画像領域の第２の画像特徴を抽出する。

例示的に、第１の歪み除去画像と第２の歪み除去画像は、同一の共通視認領域での画像領域を有するため、共通視認領域に対し、第１の歪み除去画像の第１の画像特徴を抽出し、第２の歪み除去画像の第２の画像特徴を抽出する。第１の画像特徴として、例えば、コーナーポイントスケール不変特徴変換（ｓｃａｌｅ－ｉｎｖａｒｉａｎｔｆｅａｔｕｒｅｔｒａｎｓｆｏｒｍ，略称ＳＩＦＴ）特徴、ＯＲＢ（ｏｒｉｅｎｔｅｄｆａｓｔａｎｄｒｏｔａｔｅｄｂｒｉｅｆ、略称ＯＲＢ）特徴があり、第２の画像特徴として、例えば、コーナーポイントＳＩＦＴ特徴、ＯＲＢ特徴がある。

ステップ３０３では、第１の画像特徴と第２の画像特徴に基づき、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを決定する。

１つの例示では、ステップ３０３は、第１の画像特徴と第２の画像特徴に基づき、第１の歪み除去画像と第２の歪み除去画像に対して特徴マッチングを行って、第１のマッチングポイントペアを得る。

例示的に、第１の画像特徴と第２の画像特徴に基づき、第１の歪み除去画像における共通視認領域での画像と第２の歪み除去画像の共通視認領域での画像に対して特徴マッチング処理を行って、第１のマッチングポイントペアを得る。第１のマッチングポイントペアは、Ｎペアの画像点を含み、各ペアの画像点は、第１のカメラに対応する第１の歪み除去画像上の１つの画像点と第２のカメラに対応する第２の歪み除去画像上の１つの画像点を含み、Ｎは１より大きいか、又は等しい正の整数である。第１のマッチングポイントペアにおける各画像点は、いずれも二次元の画像点である。

第１のカメラと第２のカメラは共通視認領域を有し、第１の歪み除去画像には、当該共通視認領域での画像を有し、第２の歪み除去画像には、当該共通視認領域での画像を有するため、共通視認領域に対し、第１の歪み除去画像における共通視認領域での画像と第２の歪み除去画像の共通視認領域での画像に対して特徴マッチング処理を行い、これにより、得られる第１のマッチングポイントペアにおける各ペアの画像点は、共通視認領域に対するものであって、この後の回転行列の分析を容易にする。

ステップ３０４では、第１のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成する。

１つの例示では、ステップ３０４は、第１のマッチングポイントペアに基づき、第２のカメラの同等のカメラ座標系での回転行列を表す第４の回転行列を生成する第１のステップと、第１のカメラの同等のカメラ座標系での回転行列を表す第５の回転行列を取得する第２のステップと、第４の回転行列と第５の回転行列に基づき、第１の回転行列を生成する第３のステップと、を含む。

１つの例示では、上記第２のステップは、具体的に、所定のピッチ角とヨー角に基づき、第１のカメラにより収集される画像が位置する第１のカメラ座標系を変換し、第５の回転行列を得る。

例示的に、エピポーラジオメトリアルゴリズムを採用して第１のマッチングポイントペアを処理し、第２のカメラの同等のカメラ座標系での回転行列を表す第４の回転行列Ｒ＿ｔｍｐを得る。

このとき、第１のカメラの同等のカメラ座標系での回転行列を表す第５の回転行列Ｒを１つ得る必要がある。１つの例示では、第１のカメラにより収集される画像に対してピッチ角とヨー角の歪み除去処理を行い、即ち、ピッチ角とヨー角に基づいて第１のカメラにより収集される画像が位置する第１のカメラ座標系に対して回転変換を行い、第５の回転行列を得ることができる。例を挙げて説明すると、第１のカメラが魚眼カメラであり、魚眼カメラにより収集される画像が円形画像であり、魚眼カメラにより収集される円形画像に対してピッチ角（例えば５８度）とヨー角（例えば９０度）の歪み除去を行い、このとき、第５の回転行列Ｒを得ることができ（即ち、ピッチ角とヨー角に基づいて魚眼カメラ座標系を回転し、それにより、第５の回転行列Ｒを得ることができる）、このとき、第５の回転行列は、魚眼カメラの同等のカメラ座標系での回転行列である。「魚眼カメラ座標系」とは、魚眼カメラにより収集される画像が使用する座標系のことである。「同等のカメラ座標系」とは、同等のガンカメラにより収集される画像が使用する座標系のことである。上記のプロセスでは、所定のピッチ角と所定のヨー角に基づき、第１のカメラにより収集される画像が位置する第１のカメラ座標系を変換し、第５の回転行列を正確に得ることができる。

そして、第４の回転行列Ｒ＿ｔｍｐと第５の回転行列Ｒに対して行列乗算処理を行い、第１の回転行列Ａ＝Ｒ＊Ｒ＿ｔｍｐ^－１を生成する。

上記のプロセスでは、第４の回転行列は、第２のカメラの同等のカメラ座標系での回転行列を表し、第５の回転行列は、第１のカメラの同等のカメラ座標系での回転行列を表し、これにより、この２つの行列に基づき、第１の回転行列を得ることができる（第１の回転行列は、第１のカメラの第２のカメラ座標系での回転行列を表す）。

ステップ３０５では、マークポイントの三次元座標情報を取得し、第２のカメラにより収集される画像に基づき、第２のカメラにより収集される画像上のマークポイントの二次元座標情報を決定し、マークポイントの三次元座標情報と第２のカメラにより収集される画像上のマークポイントの二次元座標情報に対してレゾリューション処理を行い、第２の回転行列を得る。第２の回転行列は、第２のカメラのワールド座標系での回転行列を表す。

例示的に、第２の回転行列（第２の回転行列は、第２のカメラのワールド座標系での回転行列を表す）を取得する際に、高精度マップまたは人工ＲＴＫ機器によりドットする方法で、マークポイントの三次元座標情報を得、そして、第２のカメラにより収集される画像を用いて当該画像上のマークポイントの二次元座標情報を決定し、マークポイントの三次元座標情報とマークポイントの二次元座標情報に基づき、ｐｎｐレゾリューション処理を行い、第２の回転行列を得ることができ、第２の回転行列は、第２のカメラのワールド座標系での回転行列を表す。

このとき、高精度マップまたは人工ＲＴＫ機器によりドットする方法に基づき、第２の回転行列（第２の回転行列は、第２のカメラのワールド座標系での回転行列を表す）を得たが、第２の回転行列（第２の回転行列は、第２のカメラのワールド座標系での回転行列を表す）に基づき、第３の回転行列（第３の回転行列は、第１のカメラのワールド座標系での回転行列を表す）を得ることは、第１のカメラに対し、高精度マップまたは人工ＲＴＫ機器によりドットする方法を採用して第３の回転行列（第３の回転行列は、第１のカメラのワールド座標系での回転行列を表す）を得る必要がないため、コストや時間は、ある程度で節約される。

ステップ３０６では、第１の回転行列と第２の回転行列に基づき、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を生成する。

例示的に、第１の回転行列Ａと第２の回転行列Ｂに対して行列乗算処理を行い、第１のカメラのワールド座標系での回転行列を表す第３の回転行列Ｒ＿ｆｉｓｈｅｙｅ＝Ａ*Ｂを得ることができる。

ステップ３０７では、第３の回転行列に基づき、第１のカメラにより収集される画像における二次元感知情報をワールド座標系に変換し、第１のカメラにより収集される画像の三次元感知情報を生成する。

例示的に、第１のカメラにより収集される画像の三次元感知情報を生成する際に、第３の回転行列は、第１のカメラのワールド座標系での回転行列を表し、第１のカメラにより収集される画像における感知情報は二次元感知情報であるため、第３の回転行列に基づき、第１のカメラにより収集される画像における二次元感知情報をワールド座標系での情報に変換することができ、第１のカメラにより収集される画像の三次元感知情報を生成することができる。これにより、第１のカメラにより収集される画像の三次元感知情報を迅速且つ正確的に得る。

ステップ３０８では、第２の回転行列に基づき、第２のカメラにより収集される画像における二次元感知情報をワールド座標系に変換し、第２のカメラにより収集される画像の三次元感知情報を生成する。

１つの例示では、第１のカメラにより収集される画像の三次元感知情報は、自動運転車両の三次元感知位置決めのために用いられる。第２のカメラにより収集される画像の三次元感知情報は、自動運転車両の三次元感知位置決めのために用いられる。

１つの例示では、第２の回転行列は、第２のカメラのパラメータをキャリブレーションするために用いられ、第３の回転行列は、第１のカメラのパラメータをキャリブレーションするために用いられる。

例示的に、上記のプロセスでは、さらに、第２の回転行列を得、第２の回転行列は、第２のカメラのワールド座標系での回転行列を表し、第２のカメラにより収集される画像における感知情報は二次元感知情報であるため、第２の回転行列に基づき、第２のカメラにより収集される画像における二次元感知情報をワールド座標系での情報に変換することができ、第２のカメラにより収集される画像の三次元感知情報を生成することができる。これにより、第２のカメラにより収集される画像の三次元感知情報を迅速且つ正確的に得る。

本実施例では、第１のカメラにより収集される画像の三次元感知情報と第２のカメラにより収集される画像の三次元感知情報を正確的且つ迅速に生成することができる。第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであるか、または、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラである。

得られる各三次元感知情報は、自動運転車両の三次元感知位置決めのために用いられる。１つの例示では、自動運転車両は、自動運転中に、三次元感知情報に基づき、自動運転中に三次元感知位置決めを行う必要があり、本実施例を介して魚眼カメラの三次元感知情報、リアビューガン型カメラの三次元感知情報、及びフロントビューガン型カメラの三次元感知情報を得ることができ、さらに、自動運転車両は、これらの三次元感知情報を得ることができ、そして、自動運転車両は、これらの三次元感知情報に基づいて三次元感知位置決めを完了し、これにより、自動運転車両の自動走行が容易になる。

三次元感知位置決めを行う際に、自動運転車両は、同時に路側カメラのワールド座標系での回転行列と並進行列に基づき、三次元感知位置決めを完了することができる。１つの例示では、ＲＴＫ機器を採用して各路側カメラ（フロントビューガン型カメラ、リアビューガン型カメラ及び魚眼カメラ）に対してドットを行い、各路側カメラのワールド座標系での並進パラメータ行列を得ることができ、並進パラメータ行列が路側カメラのワールド座標系での位置（即ち、並進）を表し、そして、本実施例の上記のプロセスにより、各路側カメラのワールド座標系での回転行列（第２のカメラのワールド座標系での回転行列を表す第２の回転行列、及び第１のカメラのワールド座標系での回転行列を表す第３の回転行列を含む。第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであるか、または、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラである）を得て、さらに、各路側カメラのワールド座標系での回転行列に基づき、各路側カメラにより収集される画像の三次元感知情報を得、そして、自動運転車両は、各路側カメラのワールド座標系での並進パラメータ行列と各路側カメラにより収集される画像の三次元感知情報に基づき、三次元感知位置決めを行うことができる。

また、本実施例では、さらに、第２の回転行列（第２の回転行列は、第２のカメラのワールド座標系での回転行列を表す）と第３の回転行列（第３の回転行列は、第１のカメラのワールド座標系での回転行列を表す）を得、第２の回転行列を採用して第２のカメラのパラメータをキャリブレーションし、第３の回転行列を採用して第１のカメラのパラメータをキャリブレーションすることができる。これにより、路側カメラのパラメータ（即ち、外部パラメータ）を校正する。

１つの例示では、風や振動などの外力要素により、路側カメラがわずかに回転すると、路側カメラの外部パラメータを再度キャリブレーションする必要があり、まず、「画像安定化アルゴリズム」または「画像マッチング検出アルゴリズム」を用いて位置ずれがある路側カメラ及び位置ずれがない路側カメラを検出してから、位置ずれがない路側カメラの外部パラメータに基づき、位置ずれがある路側カメラの外部パラメータを得、そして、位置ずれがある路側カメラのワールド座標系での回転行列に基づき、位置ずれがある路側カメラの外部パラメータをキャリブレーションすることができる。例えば、第１のカメラが魚眼カメラであり、魚眼カメラに位置ずれがあったと決定された場合、第３の回転行列（第３の回転行列は、第１のカメラのワールド座標系での回転行列を表す）に基づき、魚眼カメラの外部パラメータをキャリブレーションすることができる。

本実施例の以上のプロセスでは、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであり、さらに、リアビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得ることができる。さらに、リアビューガン型カメラにより収集される画像の三次元感知情報と魚眼カメラにより収集される画像の三次元感知情報を得る。

第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラであり、それにより、フロントビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得ることができる。さらに、フロントビューガン型カメラにより収集される画像の三次元感知情報と魚眼カメラにより収集される画像の三次元感知情報を得る。

本実施例のプロセスにより、魚眼カメラにより収集される画像の三次元感知情報、リアビューガン型カメラにより収集される画像の三次元感知情報、及びフロントビューガン型カメラにより収集される画像の三次元感知情報を得ることができることがわかる。さらに、自動運転の三次元感知位置決め、または、路側カメラの外部パラメータに対するキャリブレーションに適用されることができる。

本実施例では、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアに基づき、第４の回転行列（第４の回転行列は、第２のカメラの同等のカメラ座標系での回転行列を表す）を生成し、第４の回転行列と第５の回転行列（第５の回転行列は、第１のカメラの同等のカメラ座標系での回転行列を表す）に基づき、第１の回転行列（第１の回転行列は、第１のカメラの第２のカメラ座標系での回転行列を表す）を生成し、そして、第１の回転行列は、第１のカメラの第２のカメラ座標系での回転行列を表し、第２の回転行列は、第２のカメラのワールド座標系での回転行列を表すため、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を得、これにより、第１のカメラのワールド座標系での回転行列を得、そして、第３の回転行列に基づき、第１のカメラにより収集される画像における二次元感知情報を三次元感知情報に変換し、第２の回転行列に基づき、第２のカメラにより収集される画像の三次元感知情報を生成することができる。第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであるか、または、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラである。さらに、各路側カメラにより収集される画像の三次元感知情報を得ることができる。高精度マップ又は人工ＲＴＫ機器によりドットする方法を採用して三次元感知情報を得る必要がなく、これにより、コストは削減され、且つ、効率が向上し、人の安全が確保される。魚眼カメラにより収集される画像の三次元感知情報、リアビューガン型カメラにより収集される画像の三次元感知情報、及びフロントビューガン型カメラにより収集される画像の三次元感知情報を得ることができる。さらに、自動運転の三次元感知位置決め、または、路側カメラの外部パラメータに対するキャリブレーションに適用されることができる。

図５は、本願の第３の実施例による概略図であり、図５に示すように、本実施例により提供される路側カメラの外部パラメータに基づく三次元感知情報取得方法は、以下のステップを含む。

ステップ５０１では、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを取得し、第１のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成する。

ステップ５０２では、第２のカメラのワールド座標系での回転行列を表す第２の回転行列を取得し、第１の回転行列と第２の回転行列に基づき、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を生成する。

ステップ５０３では、第３の回転行列に基づき、第１のカメラにより収集される画像の三次元感知情報を生成する。

例示的に、本実施例では、路側カメラは、第１のカメラ、第２のカメラ及び第３のカメラを含み、第１のカメラと第２のカメラとの間には、共通視認領域を有し、第１のカメラと第３のカメラとの間には、共通視認領域を有する。１つの例示では、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであり、第３のカメラがフロントビューガン型カメラであるか、または、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラであり、第３のカメラがリアビューガン型カメラである。

ステップ５０１－５０３を実行し、第２の回転行列（第２の回転行列は、第２のカメラのワールド座標系での回転行列を表す）に基づき、第３の回転行列（第３の回転行列は、第１のカメラのワールド座標系での回転行列を表す）を得ることができ、このプロセスは、上記いずれの実施例を参照することができ、繰り返して説明しない。

ステップ５０４では、第１のカメラにより収集される画像と第３のカメラにより収集される画像との間の第２のマッチングポイントペアを取得し、第２のマッチングポイントペアに基づき、第３のカメラの第１のカメラ座標系での回転行列を表す第６の回転行列を生成する。

例示的に、ステップ５０３の後に、第１のカメラと第３のカメラは、共通視認領域を有するため、共通視認領域に対し、第１のカメラにより収集される画像における当該共通視認領域と第３のカメラにより収集される画像における当該共通視認領域との間の第２のマッチングポイントペアを生成することができ、第２のマッチングポイントペアは、Ｎペアの画像点を含み、各ペアの画像点は、第１のカメラに対応する歪み除去画像上の１つの画像点と第３のカメラに対応する歪み除去画像上の１つの画像点を含み、Ｎは１より大きいか、又は等しい正の整数である。第２のマッチングポイントペアにおける各画像点は、いずれも二次元の画像点である。

そして、エピポーラジオメトリアルゴリズムを採用して第２のマッチングポイントペアを処理し、第３のカメラの第１のカメラ座標系での回転行列を表す第６の回転行列を得ることができる。

ステップ５０５では、第３の回転行列と第６の回転行列に基づき、第３のカメラのワールド座標系での回転行列を表す第７の回転行列を生成する。

例示的に、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を生成したため、第３の回転行列と第６の回転行列に対して行列乗算処理を行い、第３のカメラのワールド座標系での回転行列を表す第７の回転行列を得ることができる。

ステップ５０６では、第７の回転行列に基づいて第３のカメラにより収集される画像の三次元感知情報を生成する。

例示的に、第３のカメラにより収集される画像に含まれるのは二次元感知情報であり、第７の回転行列は、第３のカメラのワールド座標系での回転行列を表すため、第７の回転行列に基づき、第３のカメラにより収集される画像における二次元感知情報をワールド座標系に変換して、第３のカメラにより収集される画像の三次元感知情報を得ることができる。

二次元感知情報とは、二次元画像における物体の画素座標である。１つの例示では、二次元感知情報は、画像における物体の二次元感知情報であってもよく、物体は、動力車、軽車両、歩行者及び車線ラインなどを含むが、それらに限定されない。

１つの例示では、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであり、第３のカメラがフロントビューガン型カメラであり、さらに、リアビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得、そして、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）に基づき、フロントビューガン型カメラのワールド座標系での回転行列（即ち、第７の回転行列）を得ることができる。

他の例では、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラであり、第３のカメラがリアビューガン型カメラであり、さらに、フロントビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得、そして、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）に基づき、リアビューガン型カメラのワールド座標系での回転行列（即ち、第７の回転行列）を得ることができる。

本実施例では、第３の回転行列（第３の回転行列は、第１のカメラのワールド座標系での回転行列を表す）を得た後に、第３の回転行列と第６の回転行列（第６の回転行列は、第３のカメラの第１のカメラ座標系での回転行列を表す）に基づき、第７の回転行列を得ることができ、第７の回転行列は、第３のカメラのワールド座標系での回転行列を表す。これにより、第２の回転行列（第２の回転行列は、第２のカメラのワールド座標系での回転行列を表す）に基づき、次第に第３の回転行列（第３の回転行列は、第１のカメラのワールド座標系での回転行列を表す）と第７の回転行列（第７の回転行列は、第３のカメラのワールド座標系での回転行列を表す）を得ることができる。これにより、１つの路側カメラのワールド座標系での回転行列に基づき、他の２つの路側カメラのワールド座標系での回転行列を得る。そして、各路側カメラにより収集される画像の三次元感知情報を得る。各路側カメラに対して高精度マップ又は人工ＲＴＫ機器によりドットする方法を採用して、路側カメラのワールド座標系での回転行列を得る必要がなく、さらに、各路側カメラのワールド座標系での回転行列を効果的且つ迅速に得、各路側カメラにより収集される画像の三次元感知情報を得ることが容易になる。

図６は、本願の第４の実施例による概略図であり、図６に示すように、本実施例により提供される路側カメラの外部パラメータに基づく三次元感知情報取得方法は、以下のステップを含む。

ステップ６０１では、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを取得し、第１のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成する。

ステップ６０２では、第２のカメラのワールド座標系での回転行列を表す第２の回転行列を取得し、第１の回転行列と第２の回転行列に基づき、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を生成する。

ステップ６０３では、第３の回転行列に基づき、第１のカメラにより収集される画像の三次元感知情報を生成する。

１つの例示では、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラである場合、第３のカメラはフロントビューガン型カメラであるが、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラである場合、第３のカメラはリアビューガン型カメラである。

例示的に、本実施例では、路側カメラは、第１のカメラ、第２のカメラ及び第３のカメラを含み、第１のカメラと第２のカメラとの間には、共通視認領域を有し、第１のカメラと第３のカメラとの間には、共通視認領域（第１のカメラと第２のカメラとの間の共通視認領域、及び第１のカメラと第３のカメラとの間の共通視認領域とは異なる）を有する。１つの例示では、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであり、第３のカメラがフロントビューガン型カメラであるか、または、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラであり、第３のカメラがリアビューガン型カメラである。

ステップ６０１－６０３を実行し、第２の回転行列（第２の回転行列は、第２のカメラのワールド座標系での回転行列を表す）に基づき、第３の回転行列（第３の回転行列は、第１のカメラのワールド座標系での回転行列を表す）を得ることができ、このプロセスは、上記いずれの実施例を参照することができ、繰り返して説明しない。

ステップ６０４では、第１のカメラにより収集される画像に基づいて第１の歪み除去画像を生成し、第３のカメラにより収集される画像に基づいて第３の歪み除去画像を生成し、第１の歪み除去画像と第３の歪み除去画像は、それぞれ共通視認領域に位置する画像領域を有する。

１つの例示では、ステップ６０４における「第３のカメラにより収集される画像に基づいて第３の歪み除去画像を生成する」ステップは、歪み除去関数を採用して第３のカメラにより収集される画像を調整し、第３の歪み除去画像を得る。

例示的に、第１のカメラと第３のカメラとの間には、共通視認領域を有する。上記の実施例で、すでに第１の歪み除去画像が取得されており、また、第３のカメラにより収集される画像に基づいて第３の歪み除去画像を生成する必要がある。１つの例示では、第１のカメラと第３のカメラは、共通視認領域を有するため、第１のカメラにより収集される画像と第３のカメラにより収集される画像は、共通視認領域（即ち、同一の領域に対していずれも当該領域の画像が撮影される）を有し、これにより、第１の歪み除去画像と第３の歪み除去画像は、それぞれ共通視認領域に位置する画像領域を有する。

第３のカメラにより収集される画像も歪みの問題があり、第３のカメラにより収集される画像を調整し、第３のカメラの第３の歪み除去画像を得ることができる。１つの例示では、ｏｐｅｎｃｖにおける歪み除去関数を採用し、第３のカメラにより収集される画像を調整し、さらに、第３の歪み除去画像を得ることができる。

例を挙げて説明すると、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであり、第３のカメラがフロントビューガン型カメラであり、ｏｐｅｎｃｖの歪み除去関数を採用して、フロントビューガン型カメラにより収集される画像に対して歪み除去処理を行い、リアビューガン型カメラの第３の歪み除去画像を得ることができる。

以上の方法で第３のカメラにより収集される画像を調整し、第３の歪み除去画像を得、さらに、第２のマッチングポイントペアを得ることを容易にさせることができる。

ステップ６０５では、第１の歪み除去画像における、共通視認領域に位置する画像領域の第１の画像特徴を抽出し、第３の歪み除去画像における、共通視認領域に位置する画像領域の第３の画像特徴を抽出する。

例示的に、第１の歪み除去画像と第３の歪み除去画像は、同一の共通視認領域での画像領域を有するため、共通視認領域に対し、第１の歪み除去画像の第１の画像特徴を抽出し、第３の歪み除去画像の第３の画像特徴を抽出する。第１の画像特徴として、例えば、ＳＩＦＴ特徴、ＯＲＢ特徴があり、第３の画像特徴として、例えば、コーナーポイントＳＩＦＴ特徴、ＯＲＢ特徴がある。

ステップ６０６では、第１の画像特徴と第３の画像特徴に基づき、第１のカメラにより収集される画像と第３のカメラにより収集される画像との間の第２のマッチングポイントペアを決定する。

１つの例示では、ステップ６０６は、第１の画像特徴と第３の画像特徴に基づき、第１の歪み除去画像と第３の歪み除去画像に対して特徴マッチングを行い、第２のマッチングポイントペアを得るステップを含む。

例示的に、第１の画像特徴と第３の画像特徴に基づき、第１の歪み除去画像における共通視認領域での画像と第３の歪み除去画像の共通視認領域での画像に対して特徴マッチング処理を行い、第２のマッチングポイントペアを得る。第２のマッチングポイントペアは、Ｎペアの画像点を含み、各ペアの画像点は、第１のカメラに対応する第１の歪み除去画像上の１つの画像点と第３のカメラに対応する第３の歪み除去画像上の１つの画像点を含み、Ｎは１より大きいか、又は等しい正の整数である。第２のマッチングポイントペアにおける各画像点は、いずれも二次元の画像点である。

第１のカメラと第３のカメラは共通視認領域を有し、第１の歪み除去画像には、当該共通視認領域での画像を有し、第３の歪み除去画像には、当該共通視認領域での画像を有するため、共通視認領域に対し、第１の歪み除去画像における共通視認領域での画像と第３の歪み除去画像の共通視認領域での画像に対して特徴マッチング処理を行い、これにより、得られる第２のマッチングポイントペアにおける各ペアの画像点は、共通視認領域に対するものであり、この後の回転行列の分析を容易にさせる。

ステップ６０７では、第２のマッチングポイントペアに基づき、第３のカメラの第１のカメラ座標系での回転行列を表す第６の回転行列を生成する。

１つの例示では、ステップ６０７は、具体的に、第２のマッチングポイントペアに基づき、第３のカメラの同等のカメラ座標系での回転行列を表す第８の回転行列を生成し、第１のカメラの同等のカメラ座標系での回転行列を表す第５の回転行列を取得し、第５の回転行列と第８の回転行列に基づき、第６の回転行列を生成する。

例示的に、エピポーラジオメトリアルゴリズムを採用して第２のマッチングポイントペアを処理し、第３のカメラの同等のカメラ座標系での回転行列を表す第８の回転行列Ｍを得る。

上記実施例のステップ３０４を採用して、第１のカメラの同等のカメラ座標系での回転行列を表す第５の回転行列Ｒを得ることができる。そして、第５の回転行列Ｒと第８の回転行列Ｍに基づき、第６の回転行列Ｐ＝Ｒ*Ｍ^－１を生成する。

上記プロセスでは、第８の回転行列は、第３のカメラの同等のカメラ座標系での回転行列を表し、第５の回転行列は、第１のカメラの同等のカメラ座標系での回転行列を表し、これにより、この２つの行列に基づき、第６の回転行列（第６の回転行列は、第３のカメラの第１のカメラ座標系での回転行列を表す）を得ることができる。

ステップ６０８では、第３の回転行列と第６の回転行列基づき、第３のカメラのワールド座標系での回転行列を表す第７の回転行列を生成する。

例示的に、ステップ６０２で第３の回転行列が得られ、第３の回転行列Ｋと第６の回転行列Ｐに対して行列乗算処理を行い、第３のカメラのワールド座標系での回転行列を表す第７の回転行列Ｑ＝Ｋ*Ｐを得ることができる。

ステップ６０９では、第７の回転行列に基づいて、第３のカメラにより収集される画像の三次元感知情報を生成する。

１つの例示では、第３のカメラにより収集される画像の三次元感知情報は、自動運転車両の三次元感知位置決めのために用いられる。第７の回転行列は、第３のカメラのパラメータをキャリブレーションするために用いられる。

例示的に、第３のカメラにより収集される画像の三次元感知情報を生成する際に、第７の回転行列は、第３のカメラのワールド座標系での回転行列を表し、第３のカメラにより収集される画像における感知情報は二次元感知情報であるため、第７の回転行列に基づき、第３のカメラにより収集される画像における二次元感知情報をワールド座標系での情報に変換することができ、第３のカメラにより収集される画像の三次元感知情報を生成することができる。さらに、第３のカメラにより収集される画像の三次元感知情報を迅速且つ正確的に得る。

また、本実施例では、さらに、第７の回転行列（第７の回転行列は、第３のカメラのワールド座標系での回転行列を表す）が得られ、第７の回転行列を採用して第３のカメラのパラメータをキャリブレーションし、路側カメラのパラメータ（即ち、外部パラメータ）を校正することができる。

１つの例示では、風や振動などの外力要素により、路側カメラがわずかに回転すると、路側カメラの外部パラメータを再度キャリブレーションする必要があり、まず、「画像安定化アルゴリズム」または「画像マッチング検出アルゴリズム」を用いて位置ずれがある路側カメラ及び位置ずれがない路側カメラを検出してから、位置ずれがない路側カメラの外部パラメータに基づき、位置ずれがある路側カメラの外部パラメータを得、そして、位置ずれがある路側カメラのワールド座標系での回転行列に基づき、位置ずれがある路側カメラの外部パラメータをキャリブレーションすることができる。例えば、第３のカメラがフロントビューガン型カメラ座標系であり、もしフロントビューガン型カメラ座標系が位置ずれがあったと決定される場合、第７の回転行列（第７の回転行列は、第３のカメラのワールド座標系での回転行列を表す）に基づき、フロントビューガン型カメラ座標系の外部パラメータをキャリブレーションすることができる。

本実施例では、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであり、第３のカメラがフロントビューガン型カメラであり、さらに、リアビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得、そして、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）に基づき、フロントビューガン型カメラのワールド座標系での回転行列（即ち、第７の回転行列）を得ることができる。第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラであり、第３のカメラがリアビューガン型カメラであり、さらに、フロントビューガン型カメラのワールド座標系での回転行列（即ち、第２の回転行列）に基づき、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）を得、そして、魚眼カメラのワールド座標系での回転行列（即ち、第３の回転行列）に基づき、リアビューガン型カメラのワールド座標系での回転行列（即ち、第７の回転行列）を得ることができる。これにより、各路側カメラにより収集される画像の三次元感知情報を得る。高精度マップ又は人工ＲＴＫ機器によりドットする方法を採用して三次元感知情報を得る必要がなく、これにより、コストが削減され、且つ、効率が向上し、人の安全が確保される。魚眼カメラにより収集される画像の三次元感知情報、リアビューガン型カメラにより収集される画像の三次元感知情報、及びフロントビューガン型カメラにより収集される画像の三次元感知情報を得ることができる。さらに、自動運転の三次元感知位置決め、または、路側カメラの外部パラメータに対するキャリブレーションに適用されることができる。

図７は、本願の第５の実施例による概略図であり、図７に示すように、本実施例により提供される路側カメラの外部パラメータに基づく三次元感知情報取得方法は、以下のステップを含む。

ステップ７０１では、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第３のマッチングポイントペアを取得し、第３のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成する。

例示的に、本実施例の実行主体は、電子機器であってもよく、電子機器は、端末機器であるか、または、サーバであるか、または、本実施例の方法を実行可能なその他の装置又は機器であってもよい。

本実施例により提供されるステップ７０１－７０４は、第１の実施例又は第２の実施例に基づいて実行されてもよく、単独に実行されてもよい。

ステップ７０１－７０４において、第１のカメラが魚眼カメラであり、第２のカメラはリアビューガン型カメラであるか、またはフロントビューガン型カメラである。

第１のカメラと第２のカメラは共通視認領域を有するため、共通視認領域に対し、第１のカメラにより収集される画像における当該共通視認領域と第２のカメラにより収集される画像における当該共通視認領域との間の第３のマッチングポイントペアを生成することができ、第３のマッチングポイントペアは、Ｎペアの画像点を含み、各ペアの画像点は、第１のカメラに対応する歪み除去画像上の１つの画像点と第２のカメラに対応する歪み除去画像上の１つの画像点を含み、Ｎは１より大きいか、又は等しい正の整数である。第３のマッチングポイントペアにおける各画像点は、いずれも二次元の画像点である。

そして、エピポーラジオメトリアルゴリズムを採用して第３のマッチングポイントペアを処理し、第１の回転行列を得ることができ、第１の回転行列は、第１のカメラの第２のカメラ座標系での回転行列を表す。

１つの例示では、第１のカメラにより収集される画像に基づいて第１の歪み除去画像を生成し、第２のカメラにより収集される画像に基づいて第２の歪み除去画像を生成することができ、第１の歪み除去画像と第２の歪み除去画像は、それぞれ共通視認領域に位置する画像領域を有する。そして、第１の歪み除去画像における、共通視認領域に位置する画像領域の第１の画像特徴を抽出し、第２の歪み除去画像における、共通視認領域に位置する画像領域の第２の画像特徴を抽出する。第１の画像特徴と第２の画像特徴に基づき、第１の歪み除去画像における共通視認領域での画像と第２の歪み除去画像の共通視認領域での画像に対して特徴マッチング処理を行い、第３のマッチングポイントペアを得る。本実施例では、第３のマッチングポイントペアは、上記第１のマッチングポイントペアと同じであってもよい。

そして、第３のマッチングポイントペアに基づき、第２のカメラの同等のカメラ座標系での回転行列を表す第４の回転行列を生成する。第１のカメラの同等のカメラ座標系での回転行列を表す第５の回転行列を取得する。第４の回転行列と第５の回転行列に基づき、第１の回転行列を生成する。このプロセスは、上記実施例におけるステップ３０４を参照することができ、繰り返して説明しない。

ステップ７０２では、第１のカメラのワールド座標系での回転行列を表す第９の回転行列を取得する。

１つの例示では、ステップ７０２は、マークポイントの三次元座標情報を取得し、第１のカメラにより収集される画像に基づき、第１のカメラにより収集される画像上のマークポイントの二次元座標情報を決定するステップと、マークポイントの三次元座標情報と第１のカメラにより収集される画像上のマークポイントの二次元座標情報に対してレゾリューション処理を行い、第９の回転行列を得るステップを含む。

例示的に、高精度マップまたはＲＴＫ機器によりドットする方法で、第１のカメラのワールド座標系での回転行列を表す第９の回転行列を取得する。

１つの例示では、第９の回転行列（第９の回転行列は、第１のカメラのワールド座標系での回転行列を表す）を取得する際に、高精度マップまたは人工ＲＴＫ機器によりドットする方法で、マークポイントの三次元座標情報を得、そして、第１のカメラにより収集される画像を介して当該画像上のマークポイントの二次元座標情報を決定し、マークポイントの三次元座標情報と第１のカメラにより収集される画像上のマークポイントの二次元座標情報に基づき、ｐｎｐレゾリューション処理を行い、第１のカメラのワールド座標系での回転行列を表す第９の回転行列を得ることができる。

このとき、高精度マップまたは人工ＲＴＫ機器によりドットする方法に基づき、第９の回転行列（第９の回転行列は、第１のカメラのワールド座標系での回転行列を表す）を得たが、第９の回転行列（第９の回転行列は、第１のカメラのワールド座標系での回転行列を表す）に基づき、第１０の回転行列（第１０の回転行列は、第２のカメラのワールド座標系での回転行列を表す）を得、第２のカメラに対し、高精度マップまたは人工ＲＴＫ機器によりドットする方法を採用して第１０の回転行列（第１０の回転行列は、第２のカメラのワールド座標系での回転行列を表す）を得る必要がなく、コストや時間がある程度で節約される。

ステップ７０３では、第１の回転行列と第９の回転行列に基づき、第２のカメラのワールド座標系での回転行列を表す第１０の回転行列を生成する。

例示的に、第１の回転行列と第９の回転行列に対して行列乗算処理を行い、第２のカメラのワールド座標系での回転行列を表す第１０の回転行列を得る。

ステップ７０４では、第９の回転行列に基づいて第１のカメラの三次元感知情報を生成し、第１０の回転行列に基づいて第２のカメラにより収集される画像の三次元感知情報を生成する。

１つの例示では、第９の回転行列は、第１のカメラのパラメータをキャリブレーションするために用いられ、第１０の回転行列は、第２のカメラのパラメータをキャリブレーションするために用いられる。

例示的に、第９の回転行列は、第１のカメラのワールド座標系での回転行列を表し、第１のカメラにより収集される画像における感知情報は二次元感知情報であるため、第９の回転行列に基づき、第１のカメラにより収集される画像における二次元感知情報をワールド座標系での情報に変換することができ、第１のカメラにより収集される画像の三次元感知情報を生成することができる。さらに、第１のカメラにより収集される画像の三次元感知情報を迅速且つ正確的に得る。

また、第１０の回転行列は、第２のカメラのワールド座標系での回転行列を表し、第２のカメラにより収集される画像における感知情報は二次元感知情報であるため、第１０の回転行列に基づき、第２のカメラにより収集される画像における二次元感知情報をワールド座標系での情報に変換することができ、それにより、第２のカメラにより収集される画像の三次元感知情報を生成することができる。そのため、第２のカメラにより収集される画像の三次元感知情報を迅速且つ正確的に得る。各三次元感知情報は、自動運転車両が三次元感知位置決めを行うために用いられることができる。

また、本実施例では、さらに、第９の回転行列（第９の回転行列は、第１のカメラのワールド座標系での回転行列を表す）と第１０の回転行列（第１０の回転行列は、第２のカメラのワールド座標系での回転行列を表す）が得られ、第９の回転行列を採用して第１のカメラのパラメータをキャリブレーションし、第１０の回転行列を採用して第２のカメラのパラメータをキャリブレーションすることができる。これにより、路側カメラのパラメータ（即ち、外部パラメータ）を校正する。

本実施例の以上のプロセスでは、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであり、さらに、魚眼カメラのワールド座標系での回転行列（即ち、第９の回転行列）に基づき、リアビューガン型カメラのワールド座標系での回転行列（即ち、第１０の回転行列）を得ることができる。第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラであり、さらに、魚眼カメラのワールド座標系での回転行列（即ち、第９の回転行列）に基づき、フロントビューガン型カメラのワールド座標系での回転行列（即ち、第１０の回転行列）を得ることができる。

本実施例では、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第３のマッチングポイントペアに基づき、第１の回転行列（第１の回転行列は、第１のカメラの第２のカメラ座標系での回転行列を表す）を生成し、第１の回転行列と第９の回転行列（第９の回転行列は、第１のカメラのワールド座標系での回転行列を表す）に基づき、第１０の回転行列（第１０の回転行列は、第２のカメラのワールド座標系での回転行列を表す）を生成する。これにより、第９の回転行列に基づいて第１のカメラの三次元感知情報を生成し、第１０の回転行列に基づいて第２のカメラにより収集される画像の三次元感知情報を生成することができる。第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであり、さらに、魚眼カメラのワールド座標系での回転行列（即ち、第９の回転行列）に基づき、リアビューガン型カメラのワールド座標系での回転行列（即ち、第１０の回転行列）を得ることができる。第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラであり、さらに、魚眼カメラのワールド座標系での回転行列（即ち、第９の回転行列）に基づき、フロントビューガン型カメラのワールド座標系での回転行列（即ち、第１０の回転行列）を得ることができる。さらに、各路側カメラにより収集される画像の三次元感知情報を得ることができる。高精度マップ又は人工ＲＴＫ機器によりドットする方法を採用して三次元感知情報を得る必要がなく、これにより、コストが削減され、且つ、効率が向上し、人の安全が確保される。魚眼カメラにより収集される画像の三次元感知情報、リアビューガン型カメラにより収集される画像の三次元感知情報、及びフロントビューガン型カメラにより収集される画像の三次元感知情報を得ることができる。さらに、自動運転の三次元感知位置決め、または、路側カメラの外部パラメータに対するキャリブレーションに適用されることができる。

図８は、本願の第６の実施例による概略図であり、図８に示すように、本実施例は、路側カメラの外部パラメータに基づく三次元感知情報取得装置８００を提供し、路側カメラは、第１のカメラと第２のカメラを含み、第１のカメラと第２のカメラとの間には、共通視認領域を有し、当該装置８００は、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを取得するための第１の取得ユニット８０１と、第１のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成するための第１の生成ユニット８０２と、第２のカメラのワールド座標系での回転行列を表す第２の回転行列を取得するための第２の取得ユニット８０３と、第１の回転行列と第２の回転行列に基づき、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を生成するための第２の生成ユニット８０４と、第３の回転行列に基づき、第１のカメラにより収集される画像の三次元感知情報を生成するための第３の生成ユニット８０５と、を含む。

本実施例の装置は、上記方法における技術案を実行することができ、その具体的な実現プロセス及び技術的原理は同じであるため、ここで繰り返して説明しない。

図９は、本願の第７の実施例による概略図であり、図９に示すように、本実施例は、路側カメラの外部パラメータに基づく三次元感知情報取得装置９００を提供し、路側カメラは、第１のカメラと第２のカメラを含み、第１のカメラと第２のカメラとの間には、共通視認領域を有し、当該装置９００は、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを取得するための第１の取得ユニット９０１と、第１のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成するための第１の生成ユニット９０２と、第２のカメラのワールド座標系での回転行列を表す第２の回転行列を取得するための第２の取得ユニット９０３と、第１の回転行列と第２の回転行列に基づき、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を生成するための第２の生成ユニット９０４と、第３の回転行列に基づき、第１のカメラにより収集される画像の三次元感知情報を生成するための第３の生成ユニット９０５と、を含む。

１つの例示では、第１の取得ユニット９０１は、第１のカメラにより収集される画像に基づいて第１の歪み除去画像を生成し、第２のカメラにより収集される画像に基づいて第２の歪み除去画像を生成するための第１の生成モジュール９０１１であって、第１の歪み除去画像と第２の歪み除去画像は、それぞれ共通視認領域に位置する画像領域を有する、第１の生成モジュール９０１１と、第１の歪み除去画像における、共通視認領域に位置する画像領域の第１の画像特徴を抽出し、第２の歪み除去画像における、共通視認領域に位置する画像領域の第２の画像特徴を抽出するための第１の抽出モジュール９０１２と、第１の画像特徴と第２の画像特徴とに基づき、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを決定するための第１の決定モジュール９０１３と、を含む。

１つの例示では、第１の決定モジュール９０１３は、具体的に、第１の画像特徴と第２の画像特徴に基づき、第１の歪み除去画像と第２の歪み除去画像に対して特徴マッチングを行い、第１のマッチングポイントペアを得るために用いられる。

１つの例示では、第１の生成モジュール９０１１は、第１のカメラにより収集される画像を球面に投影し、球面画像を得るために用いられ、球面画像に対して歪み除去処理を行い、第１の歪み除去画像を得るための投影サブモジュール９０１１１と、歪み除去関数を採用して第２のカメラにより収集される画像を調整し、第２の歪み除去画像を得るための調整サブモジュール９０１１２と、を含む。

１つの例示では、第１の生成ユニット９０２は、第１のマッチングポイントペアに基づき、第２のカメラの同等のカメラ座標系での回転行列を表す第４の回転行列を生成するための第２の生成モジュール９０２１と、第１のカメラの同等のカメラ座標系での回転行列を表す第５の回転行列を取得するための第１の取得モジュール９０２２と、第４の回転行列と第５の回転行列に基づき、第１の回転行列を生成するための第２の生成モジュール９０２３と、を含む。

１つの例示では、第１の取得モジュール９０２２は、具体的に、所定のピッチ角とヨー角に基づき、第１のカメラにより収集される画像が位置する第１のカメラ座標系を変換し、第５の回転行列を得るために用いられる。

１つの例示では、第２の取得ユニット９０３は、マークポイントの三次元座標情報を取得し、第２のカメラにより収集される画像に基づき、第２のカメラにより収集される画像上のマークポイントの二次元座標情報を決定するための第２の決定モジュール９０３１と、マークポイントの三次元座標情報と第２のカメラにより収集される画像上のマークポイントの二次元座標情報に対してレゾリューション処理を行い、第２の回転行列を得るための第１のレゾリューションモジュール９０３２と、を含む。

１つの例示では、第３の生成ユニット９０５は、具体的に、第３の回転行列に基づき、第１のカメラにより収集される画像における二次元感知情報をワールド座標系に変換し、第１のカメラにより収集される画像の三次元感知情報を生成するために用いられる。

１つの例示では、本実施例により提供される装置９００は、さらに、第２の回転行列に基づき、第２のカメラにより収集される画像における二次元感知情報をワールド座標系に変換し、第２のカメラにより収集される画像の三次元感知情報を生成するための第４の生成ユニット９０６を含む。

１つの例示では、三次元感知情報は、自動運転車両の三次元感知位置決めのために用いられる。

１つの例示では、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラであるか、または、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラである。

図１０は、本願の第８の実施例による概略図であり、図１０に示すように、本実施例は、路側カメラの外部パラメータに基づく三次元感知情報取得装置１０００を提供し、路側カメラは、第１のカメラと第２のカメラを含み、第１のカメラと第２のカメラとの間には、共通視認領域を有し、当該装置１０００は、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを取得するための第１の取得ユニット１００１と、第１のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成するための第１の生成ユニット１００２と、第２のカメラのワールド座標系での回転行列を表す第２の回転行列を取得するための第２の取得ユニット１００３と、第１の回転行列と第２の回転行列に基づき、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を生成するための第２の生成ユニット１００４と、第３の回転行列に基づき、第１のカメラにより収集される画像の三次元感知情報を生成するための第３の生成ユニット１００５と、を含む。

１つの例示では、路側カメラは、さらに、第３のカメラを含み、第１のカメラと第３のカメラとの間には、共通視認領域を有し、本実施例により提供される装置１０００は、さらに、第３の生成ユニットが第３の回転行列に基づき、第１のカメラにより収集される画像の三次元感知情報を生成した後に、第１のカメラにより収集される画像と第３のカメラにより収集される画像との間の第２のマッチングポイントペアを取得するための第３の取得ユニット１００６と、第２のマッチングポイントペアに基づき、第３のカメラの第１のカメラ座標系での回転行列を表す第６の回転行列を生成するための第４の生成ユニット１００７と、第３の回転行列と第６の回転行列に基づき、第３のカメラのワールド座標系での回転行列を表す第７の回転行列を生成するための第５の生成ユニット１００８と、第７の回転行列に基づいて第３のカメラにより収集される画像の三次元感知情報を生成するための第６の生成ユニット１００９と、を含む。

１つの例示では、第３の取得ユニット１００６は、第１のカメラにより収集される画像に基づいて第１の歪み除去画像を生成し、第３のカメラにより収集される画像に基づいて第３の歪み除去画像を生成するための第３の生成モジュールであって、第１の歪み除去画像と第３の歪み除去画像は、それぞれ共通視認領域における画像領域を有する、第３の生成モジュールと、第１の歪み除去画像における、共通視認領域に位置する画像領域の第１の画像特徴を抽出し、第３の歪み除去画像における、共通視認領域に位置する画像領域の第３の画像特徴を抽出するための第２の抽出モジュールと、第１の画像特徴と第３の画像特徴に基づき、第１のカメラにより収集される画像と第３のカメラにより収集される画像との間の第２のマッチングポイントペアを決定するための第３の決定モジュールと、を含む。

１つの例示では、第３の決定モジュールは、具体的に、第１の画像特徴と第３の画像特徴に基づき、第１の歪み除去画像と第３の歪み除去画像に対して特徴マッチングを行い、第２のマッチングポイントペアを得るために用いられる。

１つの例示では、第３の生成モジュールは、第３のカメラにより収集される画像に基づいて第３の歪み除去画像を生成するとき、具体的に、歪み除去関数を採用して第３のカメラにより収集される画像を調整し、第３の歪み除去画像を得るために用いられる。

１つの例示では、第５の生成ユニット１００８は、第２のマッチングポイントペアに基づき、第３のカメラの同等のカメラ座標系での回転行列を表す第８の回転行列を生成するための第４の生成モジュールと、第１のカメラの同等のカメラ座標系での回転行列を表す第５の回転行列を取得するための第２の取得モジュールと、第５の回転行列と第８の回転行列に基づき、第６の回転行列を生成するための第５の生成モジュールと、を含む。

１つの例示では、第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラである場合、第３のカメラがフロントビューガン型カメラであるが、第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラである場合、第３のカメラがリアビューガン型カメラである。

１つの例示では、第３のカメラにより収集される画像の三次元感知情報は、自動運転車両の三次元感知位置決めのために用いられ、第７の回転行列は、第３のカメラのパラメータをキャリブレーションするために用いられる。

本実施例の装置は、上記方法における技術案を実施することができ、その具体的な実現プロセス及び技術的原理は同じであるため、ここで繰り返して説明しない。

図１１は、本願の第９の実施例による概略図であり、図１１に示すように、本実施例は、路側カメラの外部パラメータに基づく三次元感知情報取得装置１１００を提供し、路側カメラは、第１のカメラと第２のカメラを含み、第１のカメラと第２のカメラとの間には、共通視認領域を有し、当該装置１１００は、まず、本実施例により提供される装置１１００は、図８又は図９の各ユニット及びモジュールを含んでもよく、図８又は図９の各ユニット及びモジュール（図８又は図９の各ユニット及びモジュールは、図１１に示されていない）を含まなくてもよい。当該装置１１００は、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第３のマッチングポイントペアを取得するための第４の取得ユニット１１０１と、第３のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成するための第７の生成ユニット１１０２と、第１のカメラのワールド座標系での回転行列を表す第９の回転行列を取得するための第５の取得ユニット１１０３と、第１の回転行列と第９の回転行列に基づき、第２のカメラのワールド座標系での回転行列を表す第１０の回転行列を生成するための第８の生成ユニット１１０４と、第９の回転行列に基づいて第１のカメラの三次元感知情報を生成し、第１０の回転行列に基づいて第２のカメラにより収集される画像の三次元感知情報を生成するための第９の生成ユニット１１０５と、を含む。

１つの例示では、第５の取得ユニット１１０３は、マークポイントの三次元座標情報を取得し、第１のカメラにより収集される画像に基づき、第１のカメラにより収集される画像上のマークポイントの二次元座標情報を決定するための第４の決定モジュールと、マークポイントの三次元座標情報と第１のカメラにより収集される画像上のマークポイントの二次元座標情報とに対してレゾリューション処理を行い、第９の回転行列を得るための第２のレゾリューションモジュールと、を含む。

本願の実施例によれば、本願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。

本願の実施例によれば、本願は、さらに、コンピュータプログラムを提供し、コンピュータプログラムが読み取り可能な記憶媒体に記憶されており、電子機器の少なくとも１つのプロセッサは、読み取り可能な記憶媒体からコンピュータプログラムを読み取ることができ、少なくとも１つのプロセッサは、電子機器が上記いずれの実施例により提供される技術案を実行するように、コンピュータプログラムを実行する。

図１２は、本願の実施例を実施可能な例示的な電子機器１２００の概略ブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタルプロセッサ、セルラ電話、スマートフォン、ウェアラブルデバイス、他の類似する計算デバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／又は要求される本開示の実施を制限することを意図したものではない。

図１２に示すように、電子機器１２００は計算ユニット１２０１を含んでよく、読み取り専用メモリ（ＲＯＭ）１２０２に記憶されたコンピュータプログラム、または、記憶ユニット１２０８からランダムアクセスメモリ（ＲＡＭ）１２０３にロードされたコンピュータプログラムに基づき、さまざまな、適当な動作及び処理を実行することができる。ＲＡＭ１２０３には、さらに、機器１２００の操作に必要なさまざまなプログラム及びデータが記憶されることができる。計算ユニット１２０１、ＲＯＭ１２０２およびＲＡＭ１２０３は、バス１２０４を介して接続される。入力／出力（Ｉ／Ｏ）インタフェース１２０５も、バス１２０４に接続される。

機器１２００における複数のコンポーネントは、Ｉ／Ｏインタフェース１２０５に接続され、キーボードやマウスなどの入力ユニット１２０６と、さまざまなタイプのモニタやスピーカーなどの出力ユニット１２０７と、磁気ディスクや光ディスクなどの記憶ユニット１２０８と、ネットワークカードや、モデム、無線通信トランシーバーなどの通信ユニット１２０９と、を含む。通信ユニット１２０９は、機器１２００がインターネットなどのコンピュータネットワーク及び／又はさまざまな電気通信デットワークを介して他の機器と情報／データを交換することを可能にさせる。

計算ユニット１２０１は、処理能力や計算能力を有するさまざまな汎用及び／又は専用処理コンポーネントであってもよい。計算ユニット１２０１のいくつかの例は、中央処理装置（ＣＰＵ）、グラフィックスプロセッシングユニット（ＧＰＵ）、さまざまな専用な人工知能（ＡＩ）計算チップ、機械学習モデルアルゴリズムを実行するさまざまな計算ユニット、デジタルシグナルプロセッサ（ＤＳＰ）、および任意の適当なプロセッサ、コントローラー、マイクロコントローラーなどを含むが、それらに限定されない。計算ユニット１２０１は、路側カメラの外部パラメータに基づく三次元感知情報取得などの上記に記載の各方法や処理を実行する。例えば、いくつかの実施例では、路側カメラの外部パラメータに基づいて三次元感知情報を取得することは、コンピュータソフトウェアプログラムとして実現されることができ、記憶ユニット１２０８などの機械読み取り可能な媒体に有形的に含まれている。いくつかの実施例では、コンピュータプログラムの一部またはすべては、ＲＯＭ１２０２及び／又は通信ユニット１２０９を介して機器１２００にロード及び／又はインストールされることができる。コンピュータプログラムは、ＲＡＭ１２０３にロードされて計算ユニット１２０１により実行されると、上記に記載の路側カメラの外部パラメータに基づく三次元感知情報取得の１つ又は複数のステップを実行することができる。選択的に、他の実施例では、計算ユニット１２０１は、他の任意の適当な手段（例えば、ファームウェアに頼る）を用いて路側カメラの外部パラメータに基づく三次元感知情報取得を実行するように構成されることができる。

本明細書において、上記に記載のシステム及び技術的さまざまな実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップのシステム（ＳＯＣ）、複雑プログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにより実施されることができる。これらのさまざまな実施形態は、１つまたは複数のコンピュータプログラムに実施され、当該１つまたは複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサが含まれるプログラマブルシステムで実行及び／又は解釈されることができ、当該プログラマブルプロセッサは、専用または汎用プログラマブルプロセッサであってもよく、記憶システムや、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータや命令を受信し、且つ、データや命令を当該記憶システム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に伝送することができる。

本開示に係る方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせを採用してプログラミングすることができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又はその他のプログラマブルデータ処理装置のプロセッサ又はコントローラーに提供されることができ、これにより、プログラムコードは、プロセッサ又はコントローラーにより実行されると、フロー図及び／又はブロック図に示される機能／操作が実施される。プログラムコードは、完全に機械で実行され、部分的に機械で実行されてもよく、独立したソフトウェアパッケージとして部分的に機械で実行され、且つ、部分的にリモートマシンで実行されるか、又は完全にリモートマシン又はサーバで実行されることができる。

本開示のコンテキストでは、機械読み取り可能な媒体は、有形的な媒体であってもよく、命令実行システム、装置又は機器に使用されるプログラム、または、命令実行システム、装置又は機器と組み合わせて使用されるプログラムを含むか又は記憶することができる。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子的なもの、磁気的なもの、光学的なもの、電磁気的なもの、赤外線的なもの、又は半導体システム、装置又は機器、または上記に記載の任意の適合な組み合わせを含むが、それらに限定されない。機械読み取り可能な記憶媒体のより具体的な例として、１つ又は複数の配線に基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学的記憶デバイス、磁気的記憶デバイス、又は上記に記載の任意の適合な組み合わせを含む。

ユーザとのインタラクションを提供するために、コンピュータ上で、ここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形態（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。

ここで説明されるシステム及び技術は、バックエンドコンポーネントを含む計算システム（例えば、データサーバとする）、又はミドルウェアコンポーネントを含む計算システム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを含む計算システム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含む計算システムで実施することができる。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットとを含む。

コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、かつ互いにクライアント－サーバの関係を有するコンピュータプログラムによって、クライアントとサーバとの関係が生成される。

本実施例は、さらに、路側機器を提供し、当該路側機器には、上記実施例により提供される電子機器が含まれている。

路側機器として、例えば、計算機能を持つ路側感知機器、路側感知機器に接続される路側計算機器がある。

スマート交通車両道路コラボレーションのシステムアーキテクチャにおいて、路側機器は、路側感知機器及び路側計算機器を含み、路側感知機器（例えば、路側カメラ）が路側計算機器（例えば、路側計算ユニットＲＳＣＵ）に接続され、路側計算機器がサーバ機器に接続され、サーバ機器は、さまざまな方法を用いて自動運転又は補助運転車両に通信することができ、他のシステムアーキテクチャにおいて、路側感知機器自身は、計算機能を持つと、路側感知機器は、前記サーバ機器に直接に接続される。以上接続は、有線又は無線の接続であってもよく、本願において、サーバ機器として、例えば、クラウド制御プラットフォーム、車両道路コラボレーション管理プラットフォーム、セントラルサブシステム、エッジコンピューティングプラットフォーム、クラウドコンピューティングプラットフォームなどがある。

本実施例は、さらに、クラウド制御プラットフォームを提供し、当該クラウド制御プラットフォームには、上記実施例により提供される電子機器が含まれている。

上記に示される様々な形態のフローを使用して、ステップを並べ替え、追加、又は削除することができる。例えば、本願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本願で開示されている技術案が所望の結果を実現することができれば、本明細書では限定しない。

上記の発明を実施するための形態は、本願の保護範囲を制限するものではない。当業者が理解すべきものとして、設計要件と他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。本願の精神と原則内で行われる任意の修正、同等の置換、及び改善などは、いずれも本願の保護範囲内に含まれるべきである。

Claims

路側カメラの外部パラメータに基づく三次元感知情報取得方法であって、前記路側カメラは、第１のカメラと第２のカメラを含み、前記第１のカメラと前記第２のカメラの間には、共通視認領域を有し、前記路側カメラの外部パラメータに基づく三次元感知情報取得方法は、
第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを取得し、前記第１のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成するステップと、
第２のカメラのワールド座標系での回転行列を表す第２の回転行列を取得し、前記第１の回転行列と前記第２の回転行列に基づき、第１のカメラのワールド座標系での回転行列を表す第３の回転行列を生成するステップと、
前記第３の回転行列に基づき、前記第１のカメラにより収集される画像の三次元感知情報を生成するステップと、を含み、
前記第１のマッチングポイントペアに基づき、第１の回転行列を生成するステップは、
前記第１のマッチングポイントペアに基づき、第２のカメラの同等のカメラ座標系での回転行列を表す第４の回転行列を生成するステップと、
第１のカメラの同等のカメラ座標系での回転行列を表す第５の回転行列を取得し、前記第４の回転行列と前記第５の回転行列に基づき、前記第１の回転行列を生成するステップと、を含み、
前記第５の回転行列を取得するステップは、
所定のピッチ角とヨー角に基づき、前記第１のカメラにより収集される画像が位置する第１のカメラ座標系を変換し、前記第５の回転行列を得るステップを含む、路側カメラの外部パラメータに基づく三次元感知情報取得方法。
前記第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを取得するステップは、
前記第１のカメラにより収集される画像に基づいて第１の歪み除去画像を生成し、前記第２のカメラにより収集される画像に基づいて第２の歪み除去画像を生成するステップであって、前記第１の歪み除去画像と前記第２の歪み除去画像は、それぞれ前記共通視認領域に位置する画像領域を有するステップと、
前記第１の歪み除去画像における、前記共通視認領域に位置する画像領域の第１の画像特徴を抽出し、前記第２の歪み除去画像における、前記共通視認領域に位置する画像領域の第２の画像特徴を抽出するステップと、
前記第１の画像特徴と前記第２の画像特徴に基づき、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを決定するステップと、を含む、請求項１に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法。
前記第１の画像特徴と前記第２の画像特徴に基づき、第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第１のマッチングポイントペアを決定するステップは、
前記第１の画像特徴と前記第２の画像特徴に基づき、前記第１の歪み除去画像と前記第２の歪み除去画像に対して特徴マッチングを行い、前記第１のマッチングポイントペアを得るステップを含み、
前記第１のカメラにより収集される画像に基づいて第１の歪み除去画像を生成し、前記第２のカメラにより収集される画像に基づいて第２の歪み除去画像を生成するステップは、
前記第１のカメラにより収集される画像を球面に投影して球面画像を得、前記球面画像に対して歪み除去処理を行い、前記第１の歪み除去画像を得るステップと、
歪み除去関数を採用して前記第２のカメラにより収集される画像を調整し、前記第２の歪み除去画像を得るステップと、を含む、請求項２に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法。
前記第２の回転行列を取得するステップは、
マークポイントの三次元座標情報を取得し、前記第２のカメラにより収集される画像に基づき、前記第２のカメラにより収集される画像上の前記マークポイントの二次元座標情報を決定するステップと、
前記マークポイントの三次元座標情報と前記第２のカメラにより収集される画像上の前記マークポイントの二次元座標情報に対してレゾリューション処理を行い、前記第２の回転行列を得るステップと、を含む、請求項１－３のいずれか１項に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法。
前記第３の回転行列に基づき、前記第１のカメラにより収集される画像の三次元感知情報を生成するステップは、
前記第３の回転行列に基づき、前記第１のカメラにより収集される画像における二次元感知情報をワールド座標系に変換して、第１のカメラにより収集される画像の三次元感知情報を生成するステップを含む、請求項１－４のいずれか１項に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法。
前記路側カメラの外部パラメータに基づく三次元感知情報取得方法は、さらに、
前記第２の回転行列に基づき、前記第２のカメラにより収集される画像における二次元感知情報をワールド座標系に変換し、第２のカメラにより収集される画像の三次元感知情報を生成するステップを含む、請求項１－５のいずれか１項に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法。
前記三次元感知情報は、自動運転車両の三次元感知位置決めのために用いられ、
前記第２の回転行列は、前記第２のカメラのパラメータをキャリブレーションするために用いられ、前記第３の回転行列は、前記第１のカメラのパラメータをキャリブレーションするために用いられる、請求項１－６のいずれか１項に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法。
前記第１のカメラが魚眼カメラであり、前記第２のカメラがリアビューガン型カメラであるか、
または、前記第１のカメラが魚眼カメラであり、前記第２のカメラがフロントビューガン型カメラである、請求項１－７のいずれか１項に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法。
前記路側カメラは、さらに、第３のカメラを含み、前記第１のカメラと前記第３のカメラとの間には、共通視認領域を有し、前記第３の回転行列に基づき、前記第１のカメラにより収集される画像の三次元感知情報を生成した後に、さらに、
第１のカメラにより収集される画像と第３のカメラにより収集される画像との間の第２のマッチングポイントペアを取得し、前記第２のマッチングポイントペアに基づき、第３のカメラの第１のカメラ座標系での回転行列を表す第６の回転行列を生成するステップと、
前記第３の回転行列と前記第６の回転行列に基づき、第３のカメラのワールド座標系での回転行列を表す第７の回転行列を生成するステップと、
前記第７の回転行列に基づいて前記第３のカメラにより収集される画像の三次元感知情報を生成するステップと、を含む、請求項１－８のいずれか１項に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法。
前記第１のカメラにより収集される画像と第３のカメラにより収集される画像との間の第２のマッチングポイントペアを取得するステップは、
前記第１のカメラにより収集される画像に基づいて第１の歪み除去画像を生成し、前記第３のカメラにより収集される画像に基づいて第３の歪み除去画像を生成するステップであって、前記第１の歪み除去画像と前記第３の歪み除去画像は、それぞれ前記共通視認領域に位置する画像領域を有するステップと、
前記第１の歪み除去画像における、前記共通視認領域に位置する画像領域の第１の画像特徴を抽出し、前記第３の歪み除去画像における、前記共通視認領域に位置する画像領域の第３の画像特徴を抽出するステップと、
前記第１の画像特徴と前記第３の画像特徴に基づき、第１のカメラにより収集される画像と第３のカメラにより収集される画像との間の第２のマッチングポイントペアを決定するステップと、を含み、
前記第１の画像特徴と前記第３の画像特徴に基づき、第１のカメラにより収集される画像と第３のカメラにより収集される画像との間の第２のマッチングポイントペアを決定するステップは、
前記第１の画像特徴と前記第３の画像特徴に基づき、前記第１の歪み除去画像と前記第３の歪み除去画像に対して特徴マッチングを行って、前記第２のマッチングポイントペアを得るステップを含み、
前記第３のカメラにより収集される画像に基づいて第３の歪み除去画像を生成するステップは、
歪み除去関数を採用して前記第３のカメラにより収集される画像を調整し、前記第３の歪み除去画像を得るステップを含む、請求項９に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法。
前記第２のマッチングポイントペアに基づき、第６の回転行列を生成するステップは、
前記第２のマッチングポイントペアに基づき、第８の回転行列を生成し、前記第８の回転行列は、第３のカメラの同等のカメラ座標系での回転行列を表すステップと、
第１のカメラの同等のカメラ座標系での回転行列を表す第５の回転行列を取得し、前記第５の回転行列と前記第８の回転行列に基づき、前記第６の回転行列を生成するステップと、を含み、
第１のカメラが魚眼カメラであり、第２のカメラがリアビューガン型カメラである場合、第３のカメラがフロントビューガン型カメラであり、
第１のカメラが魚眼カメラであり、第２のカメラがフロントビューガン型カメラである場合、前記第３のカメラがリアビューガン型カメラであり、
前記第３のカメラにより収集される画像の三次元感知情報は、自動運転車両の三次元感知位置決めのために用いられ、
前記第７の回転行列は、前記第３のカメラのパラメータをキャリブレーションするために用いられる、請求項９に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法。
前記路側カメラの外部パラメータに基づく三次元感知情報取得方法は、さらに、
第１のカメラにより収集される画像と第２のカメラにより収集される画像との間の第３のマッチングポイントペアを取得し、前記第３のマッチングポイントペアに基づき、第１のカメラの第２のカメラ座標系での回転行列を表す第１の回転行列を生成するステップと、
第１のカメラのワールド座標系での回転行列を表す第９の回転行列を取得し、前記第１の回転行列と前記第９の回転行列に基づき、第２のカメラのワールド座標系での回転行列を表す第１０の回転行列を生成するステップと、
前記第９の回転行列に基づいて第１のカメラの三次元感知情報を生成し、前記第１０の回転行列に基づいて第２のカメラにより収集される画像の三次元感知情報を生成するステップと、を含み、
前記第９の回転行列を取得するステップは、
マークポイントの三次元座標情報を取得し、前記第１のカメラにより収集される画像に基づき、前記第１のカメラにより収集される画像上の前記マークポイントの二次元座標情報を決定するステップと、
前記マークポイントの三次元座標情報と前記第１のカメラにより収集される画像上の前記マークポイントの二次元座標情報に対してレゾリューション処理を行い、前記第９の回転行列を得るステップと、を含み、
前記第９の回転行列は、前記第１のカメラのパラメータをキャリブレーションするために用いられ、前記第１０の回転行列は、前記第２のカメラのパラメータをキャリブレーションするために用いられる、請求項１－８のいずれか１項に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法。
路側カメラの外部パラメータに基づく三次元感知情報取得装置であって、前記路側カメラは、第１のカメラと第２のカメラを含み、前記第１のカメラと前記第２のカメラの間には、共通視認領域を有し、前記路側カメラの外部パラメータに基づく三次元感知情報取得装置は、請求項１－１２のいずれか１項に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法を実行するための用いられる、路側カメラの外部パラメータに基づく三次元感知情報取得装置。
コンピュータ命令が記憶された非一時的なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ命令は、コンピュータに請求項１－１２のいずれか１項に記載の路側カメラの外部パラメータに基づく三次元感知情報取得方法を実行させるために用いられる、非一時的なコンピュータ読み取り可能な記憶媒体。