JP6741107B2 - 交通状況のリアルタイム検出 - Google Patents

Description

（関連出願への相互参照）
本出願は、「REAL-TIME DETECTION OF TRAFFIC SITUATION」と題し、２０１８年３月２９日に出願された米国特許出願第１５／９３９，３０８号の優先権を主張する。これらの特許出願は、その全体が参照によって本願明細書に援用される。

本開示は、交通状況（Traffic situation, 例えば道路工事といった道路上に存在する
交通に影響を与えるイベントを指す）を検出することに関する。より具体的な例では、本開示は、道路情景画像に描写されている交通状況を、画像処理を使用して検出するための技術に関する。

適応型経路計画は、多くの場合、交通状況の検出を必要とする。ただし、車両が道路に沿って走行しながら、リアルタイムに交通状況を検出および解析することは困難である。今日では、最新車両には、それらが取り込んだ画像に依拠して、それらの周囲環境における交通状況を検出するものもある。ただし、これらの車両は、一般に、複数の物体を伴った複雑な交通状況を検出および解析する能力はなく、または、それらがこれらの交通状況を検出および解析することができる限りにおいては、こうした検出および解析は、画像に対して行われる画像処理の限界に起因して、多くの場合、不完全かつ不正確である。そうでなければ、要求される計算が大量であることから、既存の技術は、一般に、リアルタイムに実行することが、実際的でなくまたは不可能である。

特開２００６−３５０５７１号公報

本開示に記載のこの主題事項は、道路情景画像において描写されている交通状況を検出するための新技術を提供することによって、既存ソリューションの欠点および限界を克服する。

本開示に記載の主題事項の革新的な一態様によれば、コンピュータ実装方法は、
道路を描写している画像から注目領域（Ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ：ＲＯＩ）を抽出することと、
ＲＯＩにおいて第１の状況物体の物体特徴に基づいて第１の物体種別と一致する第１の状況物体を検出する、第１の物体検出器の役割を実行することであって、第１の状況物体は、ＲＯＩにおいて描写されている第１の物理道路物体を表すことと、
第１の状況物体と第１の物体種別との間の類似度に基づいて、第１の状況物体についての第１の物体信頼度スコアを生成することと、
第１の物体検出器と並行に、ＲＯＩにおいて、第２の状況物体の物体特徴に基づいて、第１の物体種別と異なった第２の物体種別と一致する第２の状況物体を検出する、第２の物体検出器の役割を実行することであって、第２の状況物体は、ＲＯＩにおいて描写されている第２の物理道路物体を表すことと、
第２の状況物体と第２の物体種別との間の類似度に基づいて、第２の状況物体についての第２の物体信頼度スコアを生成することと、
第１の物体検出器によって検出された第１の物体種別および第２の物体検出器によって検出された第２の物体種別が第１の予測される状況カテゴリと関連付けられることを決定
することと、
第１の物体信頼度スコアおよび第２の物体信頼度スコアを、第１の予測される状況カテゴリに対応する第１の状況信頼度スコアに統合することと、
第１の予測される状況カテゴリが、ＲＯＩに適用されること、および
第１の予測される状況カテゴリによって定義された第１の交通状況がＲＯＩにおいて描写されていること、を決定するために第１の状況信頼度スコアを評価することと、を含む。

一般に、本開示に記載の主題事項の別の革新的な態様は、
道路を描写している第１の画像から第１の注目領域（Ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ：ＲＯＩ）を抽出することと、
第１のＲＯＩにおいて第１の物体種別と一致する第１の状況物体を検出する第１の物体検出器、および第１のＲＯＩにおいて第２の物体種別と一致する第２の状況物体を検出する第２の物体検出器、の役割を並行に実行することであって、第１の物体種別は第２の物体種別と異なることと、
第１の状況物体についての第１の物体信頼度スコア、および第２の状況物体についての第２の物体信頼度スコアを生成することと、
第１の物体検出器によって検出された第１の物体種別および第２の物体検出器によって検出された第２の物体種別が第１の予測される状況カテゴリと関連付けられることを決定することと、
第１の物体信頼度スコアおよび第２の物体信頼度スコアを、第１の予測される状況カテゴリに対応する第１の状況信頼度スコアに統合することと、
第１の予測される状況カテゴリが、第１の画像の第１のＲＯＩに適用されないこと、および第１の予測される状況カテゴリによって定義された第１の交通状況が第１の画像の第１のＲＯＩにおいて描写されていないことを決定するために、第１の状況信頼度スコアを評価することと、
道路を描写している第２の画像から第２のＲＯＩを抽出することと、
第２のＲＯＩにおいて第１の物体種別と一致する第３の状況物体を検出する第１の物体検出器、および第２のＲＯＩにおいて第２の物体種別と一致する第４の状況物体を検出する第２の物体検出器、の役割を並行に実行することと、
第３の状況物体についての第３の物体信頼度スコア、および第４の状況物体についての第４の物体信頼度スコアを生成することと、
第３の物体信頼度スコアおよび第４の物体信頼度スコアを、第１の予測される状況カテゴリに対応する第２の状況信頼度スコアに統合することと、
第１の予測される状況カテゴリが、第２の画像の第２のＲＯＩに適用されること、および
第１の予測される状況カテゴリによって定義された第１の交通状況が第２の画像の第２のＲＯＩにおいて描写されていること、を決定するために、第２の状況信頼度スコアを評価することと、を含むコンピュータ実装方法で具現化され得る。

一般に、本開示に記載の主題事項の別の革新的な態様は、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行されたときにシステムに、
道路を描写している画像から注目領域（Ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ：ＲＯＩ）を抽出させ、
ＲＯＩにおいて第１の状況物体の物体特徴に基づいて第１の物体種別と一致する第１の状況物体を検出する、第１の物体検出器の役割を実行させ、第１の状況物体は、ＲＯＩにおいて描写されている第１の物理道路物体を表しており、
第１の状況物体と第１の物体種別との間の類似度に基づいて、第１の状況物体についての第１の物体信頼度スコアを生成させ、
第１の物体検出器と並行に、ＲＯＩにおいて第２の状況物体の物体特徴に基づいて、第
１の物体種別と異なった第２の物体種別と一致する第２の状況物体を検出する、第２の物体検出器の役割を実行させ、第２の状況物体は、ＲＯＩにおいて描写されている第２の物理道路物体を表しており、
第２の状況物体と第２の物体種別との間の類似度に基づいて、第２の状況物体についての第２の物体信頼度スコアを生成させ、
第１の物体検出器によって検出された第１の物体種別および第２の物体検出器によって検出された第２の物体種別が第１の予測される状況カテゴリと関連付けられることを決定させ、
第１の物体信頼度スコアと第２の物体信頼度スコアとを統合して、第１の予測される状況カテゴリに対応する第１の状況信頼度スコアにさせ、
第１の予測される状況カテゴリが、ＲＯＩに適用されること、および第１の予測される状況カテゴリによって定義された第１の交通状況がＲＯＩにおいて描写されていること、を決定するために第１の状況信頼度スコアを評価させる、
命令を記憶する１つまたは複数のメモリと、を備えるシステムにおいて具現化され得る。

これらおよび他の実施態様は、それぞれ以下の特徴、すなわち、
・ＲＯＩにおいて第１の状況物体を示す第１のバウンディングボックスを決定することと、ＲＯＩにおいて第２の状況物体を示す第２のバウンディングボックスを決定することと、ＲＯＩにおいて描写されている第１の交通状況の状況領域を生成するために、第１の状況物体を示す第１のバウンディングボックスと第２の状況物体を示す第２のバウンディングボックスとを統合することという特徴
・画像からＲＯＩを抽出することは、画像から、目立つ色と関連付けられたＲＯＩを抽出することを含むという特徴
・第１の予測される状況カテゴリは、データストア内の第１の一式の物体種別と関連付けられ、第１の一式の物体種別は、第１の物体検出器によって検出された第１の物体種別と第２の物体検出器によって検出された第２の物体種別とを含み、第２の予測される状況カテゴリは、データストア内の第２の一式の物体種別と関連付けられ、第２の一式の物体種別は第３の物体検出器によって検出された第３の物体種別と第４の物体検出器によって検出された第４の物体種別とを含み、第３の物体種別は第４の物体種別と異なるという特徴・第１の物体検出器と並行に、ＲＯＩにおいて、第３の状況物体の物体特徴に基づいて、第３の物体種別と一致する第３の状況物体を検出する第３の物体検出器の役割を実行することであって、第３の状況物体は、ＲＯＩにおいて描写されている第３の物理道路物体を表すことと、第３の状況物体と第３の物体種別との間の類似度に基づいて、第３の状況物体についての第３の物体信頼度スコアを生成することと、第１の物体検出器と並行に、ＲＯＩにおいて、第４の状況物体の物体特徴に基づいて、第４の物体種別と一致する第４の状況物体を検出する第４の物体検出器の役割を実行することであって、第４の状況物体は、ＲＯＩにおいて描写されている第４の物理道路物体を表すことと、第４の状況物体と第４の物体種別との間の類似度に基づいて、第４の状況物体についての第４の物体信頼度スコアを生成することと、第３の物体検出器によって検出された第３の物体種別および第４の物体検出器によって検出された第４の物体種別が、第２の予測される状況カテゴリと関連付けられることを決定することと、第３の物体信頼度スコアと第４の物体信頼度スコアとを統合して、第２の予測される状況カテゴリに対応する第２の状況信頼度スコアにすることと、第１の予測される状況カテゴリがＲＯＩに適用され、第２の予測される状況カテゴリがＲＯＩに適用されること、および第１の予測される状況カテゴリによって定義された第１の交通状況と第２の予測される状況カテゴリによって定義された第２の交通状況とがＲＯＩにおいて描写されていること、を決定するために、第１の状況信頼度スコアおよび第２の状況信頼度スコアを評価することという特徴
・第１の物体検出器と並行に、ＲＯＩにおいて、第３の状況物体の物体特徴に基づいて、第３の物体種別と一致する第３の状況物体を検出する第３の物体検出器の役割を実行する
ことであって、第３の状況物体は、ＲＯＩにおいて描写されている第３の物理道路物体を表すことと、第３の状況物体と第３の物体種別との間の類似度に基づいて、第３の状況物体についての第３の物体信頼度スコアを生成することと、第１の物体検出器と並行に、ＲＯＩにおいて、第４の状況物体の物体特徴に基づいて、第４の物体種別と一致する第４の状況物体を検出する第４の物体検出器の役割を実行することであって、第４の状況物体は、ＲＯＩにおいて描写されている第４の物理道路物体を表すことと、第４の状況物体と第４の物体種別との間の類似度に基づいて、第４の状況物体についての第４の物体信頼度スコアを生成することと、第３の物体検出器によって検出された第３の物体種別および第４の物体検出器によって検出された第４の物体種別が、第２の予測される状況カテゴリと関連付けられることを決定することと、第３の物体信頼度スコアと第４の物体信頼度スコアとを統合して、第２の予測される状況カテゴリに対応する第２の状況信頼度スコアにすることと、第１の予測される状況カテゴリがＲＯＩに適用され、第２の予測される状況カテゴリがＲＯＩに適用されないこと、および第１の予測される状況カテゴリによって定義された第１の交通状況がＲＯＩにおいて描写されていること、を決定するために、第１の状況信頼度スコアおよび第２の状況信頼度スコアを評価することという特徴
・第１の物体検出器と並行に、ＲＯＩにおいて、第３の状況物体の物体特徴に基づいて、第３の物体種別と一致する第３の状況物体を検出する第３の物体検出器の役割を実行することであって、第３の状況物体は、ＲＯＩにおいて描写されている第３の物理道路物体を表すことと、第３の状況物体と第３の物体種別との間の類似度に基づいて、第３の状況物体についての第３の物体信頼度スコアを生成することと、第１の物体検出器によって検出された第１の物体種別および第３の物体検出器によって検出された第３の物体種別が、第２の予測される状況カテゴリと関連付けられることを決定することと、第１の物体信頼度スコアと第３の物体信頼度スコアとを統合して、第２の予測される状況カテゴリに対応する第２の状況信頼度スコアにすることと、第１の予測される状況カテゴリがＲＯＩに適用され、第２の予測される状況カテゴリがＲＯＩに適用されないこと、および第１の予測される状況カテゴリによって定義された第１の交通状況がＲＯＩにおいて描写されていること、を決定するために、第１の状況信頼度スコアおよび第２の状況信頼度スコアを評価することという特徴
・第１の物体信頼度スコアと第２の物体信頼度スコアとを統合して、第１の予測される状況カテゴリに対応する第１の状況信頼度スコアにすることは、第１の予測される状況カテゴリによって定義された交通状況を検出することにおける第１の物体種別の第１の状況検出重みを取得することと、第１の予測される状況カテゴリによって定義された交通状況を検出することにおける第２の物体種別の第２の状況検出重みを取得することと、第１の状況物体の第１の物体信頼度スコア、第１の物体種別の第１の状況検出重み、第２の状況物体の第２の物体信頼度スコア、および第２の物体種別の第２の状況検出重み、に基づいて、第１の状況信頼度スコアを計算すること、とを含むという特徴
・第１の予測される状況カテゴリによって定義された第２の交通状況が、トレーニング画像において描写されていることを決定することと、トレーニング画像において検出された第２の交通状況の、トレーニング画像と関連付けられたあらかじめ決定された目標出力との比較に基づいて、第１の予測される状況カテゴリによって定義された交通状況を検出することにおける、第１の物体種別の第１の状況検出重み、および第１の予測される状況カテゴリによって定義された交通状況を検出することにおける第２の物体種別の第２の状況検出重みの、１つまたは複数を調節すること、という特徴の、１つまたは複数を随意に含み得る。

本発明における方法は、
道路を含む画像から、所定の物体種別に対応する状況物体を検出し、前記物体種別に対応するテンプレートとの間の類似度に基づいて、前記状況物体に対する物体信頼度スコアを生成する物体検出器を含むコンピュータによって実行される方法であって、複数の前記物体検出器によって、前記画像に含まれる状況物体に対応する物体種別と、対応する物体
信頼度スコアをそれぞれ生成する生成ステップと、複数の前記状況物体に対応する物体種別に基づいて、前記画像中において発生しているイベントのカテゴリを予測する予測ステップと、複数の前記物体信頼度スコアを統合して、前記イベントのカテゴリに対応する状況信頼度スコアを生成する統合ステップと、前記状況信頼度スコアに基づいて、前記予測した状況カテゴリに対応するイベントが前記画像中において発生しているか否かを評価する評価ステップと、を含む。

なお、前記イベントのカテゴリごとに、当該イベントに含まれる物体種別ごとの重みを定義したイベントデータを取得する取得ステップをさらに含み、前記統合ステップでは、複数の前記物体信頼度スコアに、前記物体種別に対応する前記重みをそれぞれ乗算することで前記状況信頼度スコアを生成することを特徴としてもよい。
また、前記予測ステップでは、複数の異なる物体種別と状況カテゴリとを関連付けたカテゴリデータを参照して、前記画像中において発生しているイベントのカテゴリを予測することを特徴としてもよい。
また、前記生成ステップで利用される複数の物体検出器は、それぞれ異なる状況物体をターゲットとして設定されたものであることを特徴としてもよい。
また、前記テンプレートは、第一のテンプレートと、前記第一のテンプレートよりも粒度の高い第二のテンプレートを含み、前記物体検出器は、前記状況物体と前記第一のテンプレートとの類似度が所定値以上である場合にのみ、前記第二のテンプレートを利用した前記物体信頼度スコアの算出を行うことを特徴としてもよい。
また、前記予測ステップでは、前記画像中において発生しているイベントのカテゴリを複数個予測し、前記評価ステップでは、前記カテゴリにそれぞれ対応する複数の前記状況信頼度スコアに基づいて、前記画像中において発生しているイベントのカテゴリを絞り込むことを特徴としてもよい。
また、複数の前記状況物体に外接する複数の枠を決定し、前記複数の枠を統合して、前記イベントに対応する領域を生成するステップをさらに含むことを特徴としてもよい。
また、所定のイベントが含まれる学習画像を取得するステップと、前記学習画像から得られる出力と、所定の目標出力との比較に基づいて、前記物体種別ごとの重みを調整するステップと、をさらに含むことを特徴としてもよい。

また、本発明におけるシステムは、
道路を含む画像から、所定の物体種別に対応する状況物体を検出し、前記物体種別に対応するテンプレートとの間の類似度に基づいて、前記状況物体に対する物体信頼度スコアを生成する物体検出手段と、複数の前記物体検出手段によって、前記画像に含まれる状況物体に対応する物体種別と、対応する物体信頼度スコアをそれぞれ生成し、複数の前記状況物体に対応する物体種別に基づいて、前記画像中において発生しているイベントのカテゴリを予測し、複数の前記物体信頼度スコアを統合して、前記イベントのカテゴリに対応する状況信頼度スコアを生成し、前記状況信頼度スコアに基づいて、前記予測した状況カテゴリに対応するイベントが前記画像中において発生しているか否かを評価する制御手段と、を含む。

これらおよび他の態様の１つまたは複数の他の実施態様は、非一時的なコンピュータ記憶デバイス上でエンコードされた、方法の動作を実行するように構成された、対応するシステム、装置、およびコンピュータプログラムを含む。

本開示に提示する、交通状況を検出するための新技術は、いくつかの点において特に有利である。例えば、本明細書に記載の技術は、道路情景画像におけるさまざまな状況物体を検出すること、および道路情景画像が、特定の状況カテゴリによって定義された交通状況を描写しているかどうかを決定するために複数の状況物体の検出の評価をすることが可能である。したがって、複雑な交通状況を検出およびカテゴリ分けすることにおける精度
を向上させることができる。さらなる例として、本技術は、状況物体を検出することにおいて、物体部分の検出に優先順位をつけることができ、複数の物体種別の状況物体を並行に検出することができる。その結果、本明細書に記載の技術は、処理時間を大幅に減らすことができ、そのため、交通状況を検出およびカテゴリ分けするためのリアルタイム実装に有利に適用することができる。

前述の利点は、例として提示されていること、および技術には、多くの他の利点および利益があり得ることが理解されるべきである。

本開示は、添付図面の各図に、限定の目的ではなく、例として示されており、類似の要素を参照するために同様の符号が使用されている。

交通状況を検出するための一例のシステムのブロック図である。 一例の状況検出アプリケーションのブロック図である。 交通状況を検出するための一例の方法のフローチャートである。 注目領域を抽出および処理するための一例の方法のフローチャートである。 注目領域と関連付けられた状況信頼度スコアを計算するための一例の方法のフローチャートである。 物体種別と関連付けられた状況物体を検出するための一例の方法のフローチャートである。

本明細書に記載の技術は、道路情景画像に描写された交通状況を正確かつ効率的に検出することができる。以下でさらに詳細に記載するように、本技術は、道路情景画像から注目領域（Ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ：ＲＯＩ）を抽出すること、ＲＯＩにおいてさまざまな物体種別の状況物体を検出すること、および特定の状況カテゴリによって定義された交通状況をＲＯＩが描写しているかどうかを決定するために、状況物体の検出を評価することができる。道路情景画像のＲＯＩが、特定の状況カテゴリによって定義された交通状況を描写している場合、その道路情景画像は、適応型経路計画を実行するために交通状況を位置特定するために使用される。

図１は、道路情景画像に描写されている交通状況を検出するための一例のシステム１００のブロック図である。示されているように、システム１００は、ネットワーク１０５を介して電子通信のために連結された、サーバ１０１、および１つまたは複数の車両プラットフォーム１０３ａ〜１０３ｎを備えている。図１および残りの図において、符号後の文字、例えば「１０３ａ」は、当該の特定の符号を有する要素への参照を表す。後に続く文字を伴わないテキスト、例えば符号「１０３」は、当該の符号を付した要素のインスタンスへの全般的な参照を表す。図１に記載のシステム１００は、例として提示されていること、ならびにシステム１００や、本開示によって想定されるさらなるシステムは、追加の、または、より少ないコンポーネントを含み、コンポーネントを結合し、または、コンポーネントの１つまたは複数を追加のコンポーネントなどに分割し得ることが理解されるべきである。例えば、システム１００は、任意の数の車両プラットフォーム１０３、ネットワーク１０５、またはサーバ１０１を備えうる。

ネットワーク１０５は、従来タイプ、有線や無線でありえ、スター構成、トークンリング構成、またはその他の構成を含む、多数の異なった構成を有しうる。例えば、ネットワーク１０５は、１つまたは複数の、ローカル・エリア・ネットワーク（Ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ：ＬＡＮ）、ワイド・エリア・ネットワーク（Ｗｉｄｅ ａｒｅａ
ｎｅｔｗｏｒｋ：ＷＡＮ）（例えばインターネット）、パーソナル・エリア・ネットワ
ーク（Ｐｅｒｓｏｎａｌ ａｒｅａ ｎｅｔｗｏｒｋ：ＰＡＮ）、パブリックネットワーク、プライベートネットワーク、仮想ネットワーク、仮想プライベートネットワーク、ピア・ツー・ピア・ネットワーク、近距離ネットワーク（例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣなど）、車両用ネットワーク、複数のデバイスが通信し得るその他の相互接続されたデータ経路、を含みうる。

ネットワーク１０５は、さまざまな異なった通信プロトコルでデータを送信するための電気通信ネットワークの部分にも連結されるかまたはそれも含みうる。例のプロトコルは、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザ・データグラム・プロトコル（ＵＤＰ）、伝送制御プロトコル（ＴＣＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、セキュアハイパーテキスト転送プロトコル（ＨＴＴＰＳ）、動的適応ストリーミング・オーバ・ハイパーテキスト転送プロトコル（ＤＡＳＨ）、リアルタイム・ストリーミング・プロトコル（ＲＴＳＰ）、リアルタイム伝送プロトコル（ＲＴＰ）およびリアルタイム伝送制御プロトコル（ＲＴＣＰ）、ボイス・オーバ・インターネット・プロトコル（ＶＯＩＰ）、ファイル転送プロトコル（ＦＴＰ）、ＷｅｂＳｏｃｋｅｔ（ＷＳ）、無線アクセスプロコル（ＷＡＰ）、さまざまなメッセージプロトコル（ＳＭＳ、ＭＭＳ、ＸＭＳ、ＩＭＡＰ、ＳＭＴＰ、ＰＯＰ、ＷｅｂＤＡＶなど）、または他の適切なプロトコルを含むが、これには限定されない。いくつかの実施形態では、ネットワーク１０５は、ＤＳＲＣ（専用短距離通信：Ｄｅｄｉｃａｔｅｄ Ｓｈｏｒｔ Ｒａｎｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＷＡＶＥ、８０２．１１ｐ、３Ｇ，４Ｇ，５Ｇ＋ネットワーク、ＷｉＦｉ（登録商標）、衛星ネットワーク、車車間（ｖｅｈｉｃｌｅ−ｔｏ−ｖｅｈｉｃｌｅ：Ｖ２Ｖ）ネットワーク、路車間（ｖｅｈｉｃｌｅ−ｔｏ−ｉｎｆｒａｓｔｒｕｃｔｕｒｅ／ｉｎｆｒａｓｔｒｕｃｔｕｒｅ−ｔｏ−ｖｅｈｉｃｌｅ：Ｖ２Ｉ／Ｉ２Ｖ）、またはその他の任意の無線ネットワークなどの接続を使用する無線ネットワークである。図１は、サーバ１０１および車両プラットフォーム１０３に連結するネットワーク１０５について単一のブロックを示しているが、上述のとおり、ネットワーク１０５は、実際には任意の数の、ネットワークの組合せを含み得ることが理解されるべきである。

車両プラットフォーム１０３は、センサ１１３、プロセッサ１１５、メモリ１１７、通信ユニット１１９、車両データストア１２１、状況検出アプリケーション１２０、状況位置特定アプリケーション１２２、およびナビゲーションアプリケーション１２４を有する計算デバイス１５２を含んでいる。計算デバイス１５２の例は、仮想的または物理的なコンピュータプロセッサ、制御ユニット、マイクロコントローラなどを含み、それらは、１つまたは複数のセンサ１１３、アクチュエータ、モチベータなど、車両プラットフォーム１０３の他のコンポーネントに連結されている。車両プラットフォーム１０３は、信号路１４１を介してネットワーク１０５に連結され、他の車両プラットフォーム１０３やサーバ１０１へデータを送信、およびそれらからデータを受信する。いくつかの実施形態では、車両プラットフォーム１０３は、あるポイントから別のポイントへ伝送することが可能である。車両プラットフォーム１０３の非限定的な例には、車両、自動車、バス、ボート、飛行機、生体工学インプラント、ロボット、または、非一時的なコンピュータエレクトロニクス（例えば、プロセッサ、メモリ、または、任意の組合せの非一時的なコンピュータエレクトロニクス）を有するその他の任意のプラットフォームが含まれる。車両プラットフォーム１０３は、本明細書では車両と称される。

プロセッサ１１５は、さまざまな入力／出力、論理、数学的演算を実行することによって、ソフトウェア命令（例えばタスク）を実行する。プロセッサ１１５は、データ信号を処理するためのさまざまな計算アーキテクチャを有しうる。プロセッサ１１５は、物理的または仮想的でありえ、単一のコア、または複数の処理ユニットやコアを含みうる。プラットフォーム１０３の観点から、プロセッサは、乗用車などのプラットフォーム１０３に実装される電子制御ユニット（Ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｔｒｏｌ ｕｎｉｔ：ＥＣ
Ｕ）であり得るが、他のタイプのプラットフォームも可能かつ想定される。ＥＣＵは、状況検出アプリケーション１２０によるアクセスや検索のために、車両運行データとしてセンサデータを受信し、車両データストア１２１に記憶する。いくつかの実施態様では、プロセッサ１１５は、電子表示信号を生成、および入力／出力デバイスへ供給すること、画像の表示をサポートすること、画像を取り込み、送信すること、さまざまな種別の物体認識および状況検出を含む複雑なタスクを実行すること、などが可能である。いくつかの実施態様では、プロセッサ１１５は、そこからデータおよび命令にアクセスするため、およびそこへデータを記憶するために、バス１５４を介してメモリ１１７に連結される。バス１５４は、プロセッサ１１５を、例えばセンサ１１３、メモリ１１７、通信ユニット１１９、車両データストア１２１を含む、プラットフォーム１０３の他のコンポーネントに連結される。

状況検出アプリケーション１２０は、道路情景画像に描写されている交通状況を検出するために実行可能なコンピュータロジックである。図１に示すように、サーバ１０１および車両プラットフォーム１０３ａ〜１０３ｎは、状況検出アプリケーション１２０のインスタンス１２０ａおよび１２０ｂ〜１２０ｎを含む。いくつかの実施形態では、各インスタンス１２０ａおよび１２０ｂ〜１２０ｎは、図２に記載の状況検出アプリケーション１２０の１つまたは複数のコンポーネントを含み、インスタンスがどこに存在しているかに応じて、本明細書に記載の機能性を完全にまたは部分的に実行するように構成される。いくつかの実施形態では、状況検出アプリケーション１２０は、１つまたは複数のコンピュータデバイスの１つまたは複数のプロセッサによって実行可能なソフトウェアを使用して、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）などではあるがそれには限定されないハードウェア、ハードウェアとソフトウェアの組合せなどを使用して実装される。状況検出アプリケーション１２０は、センサデータや車両データを受信および処理し、バス１５４を介して、メモリ１１７、通信ユニット１１９、車両データストア１２１などの、車両プラットフォーム１０３の他の要素と通信する。状況検出アプリケーション１２０は、少なくとも図２〜図６を参照しつつ、以下で詳細に記載する。

状況位置特定アプリケーション１２２は、交通状況を位置特定するために実行可能なコンピュータロジックである。図１に示すように、サーバ１０１および車両プラットフォーム１０３ａ〜１０３ｎは、状況位置特定アプリケーション１２２のインスタンス１２２ａおよび１２２ｂ〜１２２ｎを含む。いくつかの実施形態では、状況位置特定アプリケーション１２２は、１つまたは複数のコンピュータデバイスの１つまたは複数のプロセッサによって実行可能なソフトウェアを使用して、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）などではあるがそれには限定されないハードウェア、ハードウェアとソフトウェアの組合せなどを使用して実装される。いくつかの実施形態では、状況位置特定アプリケーション１２２は、交通状況を描写しているとして状況検出アプリケーション１２０が決定する道路情景画像を使用して、交通状況内に存在する状況物体の地理位置座標を計算する。いくつかの実施形態では、状況位置特定アプリケーション１２２は、状況物体の地理位置座標に基づいて、地理的なマップ上での交通状況のカバレッジ領域を決定し、地理的なマップ上での交通状況のカバレッジ領域をナビゲーションアプリケーション１２４に提供する。

ナビゲーションアプリケーション１２４は、ナビゲーションガイダンスをユーザに提供するために実行可能なコンピュータロジックである。図１に示すように、サーバ１０１および車両プラットフォーム１０３ａ〜１０３ｎは、ナビゲーションアプリケーション１２４のインスタンス１２４ａおよび１２４ｂ〜１２４ｎを含む。いくつかの実施形態では、ナビゲーションアプリケーション１２４は、１つまたは複数のコンピュータデバイスの１つまたは複数のプロセッサによって実行可能なソフトウェアを使用して、フィールドプロ
グラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）などではあるがそれには限定されないハードウェア、ハードウェアとソフトウェアの組合せなどを使用して実装される。いくつかの実施形態では、ナビゲーションアプリケーション１２４は、状況位置特定アプリケーション１２２によって決定された１つまたは複数の交通状況のカバレッジ領域に基づいて、ナビゲーション経路を決定または更新するために経路計画を実行し、道路を占有している交通状況のカバレッジ領域に適合するナビゲーション経路に対応するナビゲーション命令（例えば、車線変更操作を提案する）を生成し、車両プラットフォーム１０３の１つまたは複数の出力デバイスを介してユーザにナビゲーション命令を提供する。

メモリ１１７には、非一時的なコンピュータ使用可能（例えば、読み取り可能、書き込み可能など）媒体が含まれ、それは、プロセッサ１１５によって、またはそれと接続して処理するための、命令、データ、コンピュータプログラム、ソフトウェア、コード、ルーチンなどを、包含、記憶、通信、伝搬または伝送することができる、任意の有形非一時的な装置またはデバイスとすることができる。例えば、メモリ１１７は、状況検出アプリケーション１２０、状況位置特定アプリケーション１２２、またはナビゲーションアプリケーション１２４を記憶する。いくつかの実施形態では、メモリ１１７は、揮発性メモリまたは不揮発性メモリのうちの１つまたは複数を含む。例えば、メモリ１１７は、ダイナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）デバイス、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）デバイス、ディスクリートのメモリデバイス（例えばＰＲＯＭ、ＦＰＲＯＭ、ＲＯＭ）、ハード・ディスク・ドライブ、光ディスクドライブ（ＣＤ、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）など）のうちの１つまたは複数を含み得るが、それには限定されない。メモリ１１７は、単一のデバイスであり得るか、または複数のタイプのデバイスおよび構成を含み得ることが理解されるべきである。

通信ユニット１１９は、無線や有線接続を使用して（例えば、ネットワーク１０５を介して）通信可能に連結されている他の計算デバイスへデータを送信、およびそこからデータを受信する。通信ユニット１１９は、データを送信および受信するために、１つまたは複数の有線インタフェースや無線トランシーバを含む。通信ユニット１１９は、ネットワーク１０５に連結し、他の車両プラットフォーム１０３やサーバ１０１などの他の計算ノードと通信する。通信ユニット１１９は、上に議論したものなど、標準的な通信方法を使用して、他の計算ノードとデータを交換する。

センサ１１３は、車両プラットフォーム１０３に適した任意のタイプのセンサを含む。センサ１１３は、車両プラットフォーム１０３の特徴やその車両プラットフォーム１０３の内部および外部環境を決定するために適切ないかなるタイプの信号データも収集するように構成される。センサ１１３の非限定的な例には、さまざまな光学センサ（ＣＣＤ、ＣＭＯＳ、２Ｄ、３Ｄ、光検出および測距（ＬＩＤＡＲ）、カメラなど）、オーディオセンサ、動き検出センサ、気圧計、高度計、熱電対、水分センサ、赤外線（ＩＲ）センサ、レーダセンサ、他のフォトセンサ、ジャイロスコープ、加速度計、速度計、ステアリングセンサ、ブレーキセンサ、スイッチ、車両インジケータセンサ、ワイパーセンサ、地理位置センサ、オリエンテーションセンサ、無線トランシーバ（例えば、セルラ、ＷｉＦｉ（登録商標）、近距離通信など）、ソナーセンサ、超音波センサ、タッチセンサ、近接センサ、距離センサなどが含まれる。いくつかの実施形態では、１つまたは複数のセンサ１１３は、車両プラットフォーム１０３を取り囲む状況コンテキストを取り込むために、車両プラットフォーム１０３のフロントサイド、リアサイド、右サイド、左サイドに備えられた外側に向いたセンサを含み得る。

いくつかの実施形態では、センサ１１３は、動画および静止画を含む、画像を記録するように構成された１つまたは複数の画像センサ（例えば、光学センサ）を含み、適用可能
な任意のフレームレートを使用して映像ストリームのフレームを記録し、適用可能な任意の方法を使用して、取り込まれた動画および静止画をエンコードまたは処理する。いくつかの実施形態では、画像センサ１１３は、それらのセンサ範囲内において周囲環境の画像を取り込むことができる。例えば、車両プラットフォームの観点から、画像センサ１１３は、道路、建物、路側構造物、静的道路物体（例えば、カラーコーン（登録商標）、バリケード、交通標識、車線、道路標示など）、動的道路物体（例えば、周囲の車両プラットフォーム１０３、道路作業者、警察官、工事車両、緊急車両など）などを含む、車両プラットフォーム１０３の周囲環境を取り込むことができる。いくつかの実施形態では、画像センサ１１３は、車両プラットフォーム１０３の移動方向に対していかなる方向（前方向き、後方向き、側方向き、上方向き、下方向きなど）でも感知するために、車両ルーフや車両プラットフォーム１０３内部に取り付けられ得る。いくつかの実施形態では、画像センサ１１３は、多方向であり得る（例えば、ＬＩＤＡＲ）。いくつかの実施形態では、異なった車両プラットフォーム１０３に取り付けられた画像センサ１１３は、異なったカメラパラメータを有し、異なった設定、インストール、または構成で構成される。

車両データストア１２１は、さまざまなタイプのデータを記憶する非一時的な記憶媒体を含む。例えば、車両データストア１２１は、所与の車両プラットフォーム１０３の異なったコンポーネント間で、コントローラ・エリア・ネットワーク（ＣＡＮ）バスなどのバスを使用して通信されている車両データを記憶する。いくつかの実施形態では、車両データは、例えば、変速機、速度、加速、減速、ホイル速度（回転数（ＲＰＭ））、ステアリング角度、ブレーキ力など、コンポーネントの動作状態をモニタするため、車両プラットフォーム１０３のこれら異なったコンポーネントに接続された複数のセンサ１１３から収集された車両運行データを含む。いくつかの実施形態では、車両データは、移動方向、車両プラットフォーム１０３の地理的位置を示す車両地理位置（例えば、ＧＰＳ座標）などを含む。いくつかの実施形態では、車両データは、車両プラットフォーム１０３の１つまたは複数の画像センサ１１３によって取り込まれた道路情景画像、およびこれらの画像と関連付けられた画像データも含む。いくつかの実施形態では、画像データは、道路情景画像のデータサイズを示す画像データサイズ、道路情景画像が取り込まれた日付と時刻を示す画像タイムスタンプなどを含む。

いくつかの実施形態では、車両データは、センサ１１３のセンサ構成も含む。一例として、車両プラットフォーム１０３の各画像センサ１１３と関連付けられたセンサ構成は、画像センサの外部カメラパラメータおよび内部カメラパラメータを含む。いくつかの実施形態では、外部カメラパラメータは、世界座標系（例えば、ＧＰＳ座標系）での画像センサのセンサ位置およびセンサ方向を示す。外部カメラパラメータの非限定的な例は、視野（例えば画角）、カメラ高さ（例えば、画像センサから地面までの距離）を含み得るが、それには限定されない。いくつかの実施形態では、画像センサの外部カメラパラメータは、回転行列および並進ベクトルによって表される。

いくつかの実施形態では、内部カメラパラメータは、画像センサの内部特性を示し、カメラ構成によって規定される。内部カメラパラメータの非限定的な例は、焦点距離、解像度、歪みメトリック、スキュー係数などを含み得るが、それには限定されない。いくつかの実施形態では、画像センサの内部カメラパラメータは、カメラ内部行列によって表される。いくつかの実施形態では、外部カメラパラメータ（例えば、回転行列および並進ベクトル）および内部カメラパラメータ（例えば、カメラ内部行列）は、さまざまな変換を実行するために使用され、それによって、世界座標系における状況物体の物理的特徴点を、画像センサによって取り込まれた道路情景画像の画像座標系における対応する画像特徴点に投影する。

いくつかの実施形態では、車両データストア１２１は、さまざまな状況カテゴリを含ん
だ交通状況データベースを記憶する。例えば、交通状況データベースは、状況カテゴリ「工事現場」、状況カテゴリ「事故現場」、状況カテゴリ「天候に関連するイベント」、状況カテゴリ「コミュニティイベント」などを含む。いくつかの実施形態では、各状況カテゴリは、一式のさまざまな物体種別と関連付けられ、各物体種別は、対応する交通状況に存在する可能性のある物理道路物体の一種を示す。一例として、状況カテゴリ「工事現場」は、物体種別「カラーコーン」、物体種別「バリケード」、物体種別「工事標識」、物体種別「工事車両」などを含む第１の一式の物体種別と関連付けられる。状況カテゴリ「事故現場」は、物体種別「バリケード」、物体種別「警察官」、物体種別「通行止め標識」、物体種別「緊急車両」（例えば、救急車、消防車、パトカーなど）などを含む、第２の一式の物体種別と関連付けられる。この実施態様は、複雑な交通状況全体をまとめて考慮するのではなく、検出のために、いかなる交通状況もさまざまな物体種別の状況物体にブレークダウンすることを可能にするため、特に有利である。結果として、交通状況の検出を、状況コンポーネント、道路レイアウト、照明条件などにおけるバリエーションにかかわらず、容易かつ迅速なものとすることができる。

いくつかの実施形態では、交通状況データベースは、状況カテゴリと関連付けられた物体種別ごとに、状況カテゴリによって定義された交通状況を検出することにおける、物体種別の状況検出重みを記憶する。当該状況検出重みは、「物体種別を有する状況物体が、状況カテゴリによって定義された交通状況に存在する可能性」を示す。いくつかの実施形態では、１つの物体種別は、複数の状況カテゴリと関連付けられ、異なった状況カテゴリに対応する異なった状況検出重みを有しうる。上述の例では、物体種別「バリケード」は、状況カテゴリ「工事現場」および状況カテゴリ「事故現場」と関連付けられる。この例では、状況カテゴリ「事故現場」によって定義された交通状況を検出することにおける物体種別「バリケード」の状況検出重み（例えば、０．７）は、状況カテゴリ「工事現場」によって定義された交通状況を検出することにおける物体種別「バリケード」の状況検出重み（例えば、０．６）よりも相対的に大きい。それは、バリケードが、工事の状況下よりも事故の状況下において存在する可能性が高いためである。

いくつかの実施形態では、物体種別ごとに、交通状況データベースは、物体種別と一致する状況物体の物体特徴を記述している１つまたは複数の特徴テンプレートを記憶する。いくつかの実施形態では、これらの物体特徴は、物体種別と一致する、状況物体の視覚的外観（例えば、幾何学的形状、エッジおよび角、物体構造、テクスチャパターンなど）を記述し、特徴テンプレート内で勾配方向ヒストグラム（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ：ＨＯＧ）の形式で表される。いくつかの実施形態では、特徴テンプレートは、１つまたは複数の物体テンプレートを含み、各物体テンプレートは、複数の部分テンプレートに対応する。いくつかの実施形態では、各物体テンプレートは、物体種別と一致する状況物体全体を記述し、一方で、対応する部分テンプレートは、同じ状況物体の物体部分を記述する。一例として、物体種別「警察官」と一致する状況物体を記述（例えば、交通を止めるために手信号を出している警察官）するために、交通状況データベースは、警察官の体全体を記述している１つの物体テンプレート、および当該の特定の姿勢における警察官の６つの体の部分を記述している６つ（例えば、頭部が１つ、胴部が１つ、腕部が２つ、および脚部が２つ）の対応する部分テンプレートを記憶する。

いくつかの実施形態では、物体テンプレートは、物体種別と一致する状況物体を、第１のレベルの粒度（例えば、粗いスケール）での物体特徴で記述し、対応する部分テンプレートは、物体テンプレートの第１のレベルの粒度よりも高い第２のレベルの粒度での物体特徴で、同じ状況物体を記述する。したがって、部分テンプレートは、物体テンプレートと比べると、さらに詳細に、または、より高い解像度（例えば、微細スケール）で、物体種別と一致する状況物体の物体特徴を記述する。いくつかの実施形態では、物体種別と一
致する状況物体の一部分だけが部分テンプレートに記述されるので、交通状況データベースは、物体テンプレートと相対的な部分テンプレートの空間的位置も記憶する。上述の例では、警察官の頭部を記述している部分テンプレートは、物体テンプレートの一番上の領域に対応し、一方、警察官の脚部を記述している部分テンプレートは、物体テンプレートの一番下の領域に対応する。

いくつかの実施形態では、交通状況データベースは、物体種別と一致する状況物体を決定することにおける部分テンプレートの物体検出重みを記憶する。こうした物体検出重みは、道路情景画像内で部分テンプレートが検出された場合に、道路情景画像が、物体種別と一致する状況物体を描写している可能性を示す。上述の例を続けると、警察官の頭部を記述している部分テンプレートは、物体検出重み０．７を有し、一方、警察官の脚部を記述している部分テンプレートは、物体検出重み０．３を有しうる。この例では、頭部を記述している部分テンプレートの物体検出重みは、脚部を記述している部分テンプレートの物体検出重みよりも大きいものであり、これは、道路情景画像において頭部が検出される場合、道路情景画像が、特定の姿勢をとっている警察官の状況物体を描写している場合が多いためである。

いくつかの実施形態では、車両データストア１２１は、データを記憶またはデータへのアクセスを提供するためのデータ記憶システム（例えば、標準データまたはデータベース管理システム）の一部であり得る。車両データストア１２１に記憶された、他のタイプのデータも可能かつ想定される。

サーバ１０１には、プロセッサ、メモリ、およびネットワーク通信能力（例えば、通信ユニット）を備えた、ハードウェアや仮想的なサーバが含まれる。サーバ１０１は、信号路１４５によって表されるように、ネットワーク１０５と通信可能に連結される。いくつかの実施形態では、サーバは、システム１００の他のエンティティ、例えば、１つまたは複数の車両プラットフォーム１０３へデータを送信またはそこからデータを受信する。描かれているように、サーバ１０１は、状況検出アプリケーション１２０、状況位置特定アプリケーション１２２、ナビゲーションアプリケーション１２４のインスタンスを含む。サーバ１０１は、これらのアプリケーションによるアクセスや検索のために、さまざまなタイプのデータを記憶するデータストア１２６も含む。例えば、データストア１２６は、マップデータベース、車両プラットフォーム１０３から受信した状況データなどを記憶する。いくつかの実施形態では、マップデータベースは、地理的なマップに含まれた１つまたは複数の地理的領域を記述するマップデータを含む。例えば、マップデータは、特定の道路を複数の地理的領域に分割し、各地理的領域は、その特定の道路の所定の道路セグメントに対応する。いくつかの実施形態では、マップデータベースは、動的交通状況マップを含む。動的交通状況マップは、状況位置特定アプリケーション１２２によって生成され、さまざまな時点においてさまざまな道路セグメント上で発生する複数の交通状況のカバレッジ領域（例えば、地理位置、幾何学的境界（例えば、幾何学的形状、占有された車線）、交通状況に存在している状況物体など）を記述する。

他のバリエーションや組合せも可能かつ想定される。図１に示すシステム１００は、一例のシステムを代表するものであること、およびさまざまな異なったシステム環境および構成が想定され、本開示の範囲に入ることが理解されるべきである。例えば、さまざまな動作や機能性は、サーバからクライアントへ、またはその逆へ移動され、データは単一のデータストアへ統合されるかまたは追加のデータストアにさらにセグメント化され、いくつかの実施態様は、追加のまたはさらに少ない計算デバイス、サービス、ネットワークを含み、クライアント側もしくはサーバ側においてさまざまな機能性を実装する。さらに、システムのさまざまなエンティティは、単一の計算デバイスもしくはシステムに統合され、または追加の計算デバイスもしくはシステムに分割される、などである。

図２は、一例の状況検出アプリケーション１２０のブロック図である。記載のように、状況検出アプリケーション１２０は、ＲＯＩプロセッサ２０２、１つまたは複数の物体検出器２０４、および状況検出マネージャ２０６を含む。物体検出器２０４は、物体フィルタ２５０、部分フィルタ２５２、および物体検出マネージャ２５４を含む。状況検出アプリケーション１２０や物体検出器２０４は、構成エンジン、他のトレーニングエンジン、暗号化／復号化エンジンなどではあるがそれには限定されない追加のコンポーネントを含み、またはこれらのさまざまなコンポーネントは単一のエンジンに組み合わされるかもしくは追加のエンジンに分割されることが理解されるべきである。

ＲＯＩプロセッサ２０２、１つまたは複数の物体検出器２０４、および状況検出マネージャ２０６は、ソフトウェア、ハードウェア、または前述のものの組合せとして実装される。いくつかの実施形態では、ＲＯＩプロセッサ２０２、１つまたは複数の物体検出器２０４、および状況検出マネージャ２０６は、バス１５４やプロセッサ１１５によって、互いに、計算デバイス１５２の他のコンポーネントに通信可能に連結される。同様に、物体検出器２０４に含まれている物体フィルタ２５０、部分フィルタ２５２、および物体検出マネージャ２５４も、ソフトウェア、ハードウェア、または前述のものの組合せとして実装される。いくつかの実施形態では、物体フィルタ２５０、部分フィルタ２５２、および物体検出マネージャ２５４は、バス１５４やプロセッサ１１５によって、互いに、状況検出アプリケーション１２０の他のコンポーネントに、計算デバイス１５２の他のコンポーネントに通信可能に連結される。いくつかの実施形態では、コンポーネント１２０、２０２、２０４、２０６、２５０、２５２、２５４のうちの１つまたは複数は、それらの機能性を提供するためにプロセッサ１１５によって実行可能な一式の命令である。さらなる実施形態では、コンポーネント１２０、２０２、２０４、２０６、２５０、２５２、２５４のうちの１つまたは複数は、メモリ１１７に記憶可能であり、それらの機能性を提供するためにプロセッサ１１５によってアクセス可能かつ実行可能である。前述の実施形態のいずれにおいても、これらのコンポーネント１２０、２０２、２０４、２０６、２５０、２５２、２５４は、計算デバイス１５２のプロセッサ１１５および他のコンポーネントとの協働および通信のために適合される。

状況検出アプリケーション１２０、およびその状況検出アプリケーション１２０のコンポーネント２０２、２０４、および２０６、ならびに物体検出器２０４のコンポーネント２５０、２５２、および２５４は、少なくとも図３〜図６を参照しつつ以下でより詳細に記載する。

本明細書の他の部分で論じるように、状況検出アプリケーション１２０は、道路情景画像において描写されている交通状況を検出するために実行可能なコンピュータロジックである。交通状況は、道路情景画像に存在している状況物体に基づいて検出され、特定の状況カテゴリにカテゴライズされる。したがって、いくつかの実施形態では、交通状況は、道路情景画像からＲＯＩを抽出すること、ＲＯＩにおいて状況物体を検出すること、検出された状況物体の物体種別に基づいて、予測される状況カテゴリを決定すること、および予測される状況カテゴリによって定義された交通状況がＲＯＩにおいて描写されているかどうかを決定するために、関連する信頼度スコアを評価することによって検出される。道路情景画像のＲＯＩが、予測される状況カテゴリの交通状況を描写していると決定された場合、その道路情景画像は交通状況の地理位置を計算するのに使用される。

図３は、道路情景画像において描写されている交通状況を検出するための一例の方法３００のフローチャートである。ブロック３０２において、車両プラットフォーム１０３の画像センサ１１３は、車両プラットフォーム１０３がその車両プラットフォーム１０３の車両経路に沿って走行する際に、道路を描写している道路情景画像を取り込む。道路は、
車両プラットフォーム１０３が走行する道路セグメントおよび周辺環境を含む。いくつかの実施形態では、これらの道路情景画像は、所定のレート／インターバル（例えば、５秒ごと、１０秒ごとなど）で取り込まれ得る。ブロック３０４において、ＲＯＩプロセッサ２０２は、道路情景画像から１つまたは複数のＲＯＩを抽出し、その抽出したＲＯＩを処理する。

さらなる例示のために、図４は、ＲＯＩを抽出および処理するための一例の方法４００のフローチャートである。ブロック４０２において、ＲＯＩプロセッサ２０２は、道路情景画像からＲＯＩを抽出する。いくつかの実施形態では、ＲＯＩプロセッサ２０２は、１つまたは複数の目立つ色と関連付けられたＲＯＩを抽出するために、道路情景画像の色パターンを解析する。交通状況に存在する状況物体は、それらの存在に注意を引き付けるために、目立つ色をしている場合が多い。例えば、工事の状況に存在している状況物体は、通常、橙色、赤橙色、黄色をしている（例えば、カラーコーン、工事標識、バリケードなど）。別の例では、事故の状況に存在している状況物体は、通常、赤色、青色、黒色、白色をしている（救急車、警察車両、非常灯など）。このように、目立つ色を含んだ道路情景画像の部分を特定することによって、ＲＯＩプロセッサ２０２は、交通状況を描写している可能性のある画像領域（Ｒｅｇｉｏｎ ｏｆ ｉｍａｇｅ：ＲＯＩ）を道路情景画像から抽出する。

ブロック４０４において、ＲＯＩプロセッサ２０２は、随意に、抽出されたＲＯＩの特徴コントラストを強調させる。具体的には、ＲＯＩプロセッサ２０２は、照明調整を実行するために、ＲＯＩに含まれるピクセルのグレー強度を調整する。いくつかの実施形態では、ＲＯＩプロセッサ２０２は、線形照明機能を使用して、調整されるべきグレー強度の量を計算する。いくつかの実施形態では、線形照明機能は、１つまたは複数の照明調整パラメータを含み、トレーニングプロセスの対象となり得る。トレーニングプロセスの間、線形照明機能は、最適な照明調整パラメータを学習するため、さまざまな照明条件の複数のトレーニング画像に適応される。道路情景画像のＲＯＩ上で照明調整を実行することは、特に道路情景画像が、制限された照明条件下で取り込まれた場合に、ＲＯＩにおいて描写されている物体特徴のコントラストを強調して、状況物体を検出することにおける精度を向上させるので、特に有利である。

ブロック４０６において、ＲＯＩプロセッサ２０２は、ＲＯＩの特徴マップを生成する。具体的には、ＲＯＩプロセッサ２０２は、ＲＯＩにおいて描写されている物理道路物体の物体特徴を記述する特徴マップを生成するために、ＲＯＩを処理する。いくつかの実施形態では、これらの物体特徴マップは、物理道路物体の視覚的外観（例えば、幾何学的形状、エッジおよび角、物体構造、テクスチャパターンなど）を記述し、ＲＯＩの特徴マップ内にＨＯＧ特徴の形式で表される。

図３に戻って参照すると、ブロック３０６ａ〜３０６ｎにおいて、複数の物体検出器２０４が、ＲＯＩにおいて状況物体を検出するための役割を実行する。いくつかの実施形態では、各物体検出器２０４は、特定の物体種別と一致する状況物体を検出するように構成される。各物体検出器２０４によって検出されるべき、状況物体の特定の物体種別は、本明細書において、物体検出器２０４と関連付けられた物体種別として参照される。いくつかの実施形態では、異なった物体検出器２０４と関連付けられた物体種別は互いに異なり得る。例えば、第１の物体検出器２０４ａは、第１の物体種別「カラーコーン」と一致する状況物体を検出するように構成され、第２の物体検出器２０４ｂは、第２の物体種別「工事標識」と一致する状況物体を検出するように構成され、第３の物体検出器２０４ｃは、第３の物体種別「緊急車両」と一致する状況物体を検出するように構成される、などである。いくつかの実施形態では、複数の検出器２０４は、並行に役割を実行する。複数の物体検出器２０４の並行の役割実行は、さまざまな物体種別の状況物体がＲＯＩにおいて
同時に検出されることを可能にし、それによって処理時間を大幅に低減することを可能にするため、特に有利である。また、この実施態様は、状況物体の網羅的な検出も提供する。ＲＯＩは、複数の物体検出器２０４によって実行される物体検出の対象となるため、さまざまなタイプの交通状況に存在している可能性のある、さまざまな物体種別の状況物体を、ＲＯＩにおいて検出することができる。

いくつかの実施形態では、第１の物体検出器２０４ａが役割を実行し、ＲＯＩにおいて、第１の状況物体の物体特徴に基づいて、第１の物体種別と一致する第１の状況物体を検出する。第１の状況物体は、ＲＯＩにおいて描写されている第１の物理道路物体を表す。
いくつかの実施形態では、第２の物体検出器２０４ｂが第１の物体検出器２０４ａと並行に役割を実行し、ＲＯＩにおいて、第２の状況物体の物体特徴に基づいて、第２の物体種別と一致する第２の状況物体を検出する。第２の状況物体は、ＲＯＩにおいて描写されている第２の物理道路物体を表す。
同様に、他の物体検出器２０４も、第１の物体検出器２０４ａと並行に役割を実行し、ＲＯＩにおいて、これらの状況物体の物体特徴に基づいて、他の物体検出器２０４と関連付けられた他の物体種別と一致する状況物体を検出する。これらの状況物体は、ＲＯＩにおいて描写されている他の物理道路物体を表す。
上述の例を続けると、ＲＯＩにおいて描写されている複数の物理道路物体のなかで、第１の物体検出器２０４ａは、第１の物体種別「カラーコーン」と一致する第１の状況物体として第１の物理道路物体を検出し、第２の物体検出器２０４ｂは、第２の物体種別「工事標識」と一致する第２の状況物体として第２の物理道路物体を検出する。

さらなる例示のために、図６は、ＲＯＩにおいて、物体種別と一致する状況物体を検出するための一例の方法６００のフローチャートである。いくつかの実施形態では、方法６００は、各物体検出器２０４によって、その物体検出器２０４と関連付けられた特定の物体種別と一致する状況物体を検出するために実行する。例えば、第１の物体検出器２０４ａは、ＲＯＩにおいて第１の物体種別「カラーコーン」と一致する第１の状況物体を検出するために方法６００を実行する。ブロック６０２において、物体検出器２０４は、物体検出器２０４と関連付けられた物体種別と一致する状況物体を記述している特徴テンプレートを取得する。上述の例を続けると、第１の物体検出器２０４ａにおいて、物体フィルタ２５０および部分フィルタ２５２は、第１の物体種別「カラーコーン」と関連付けられた、物体テンプレートおよび対応する部分テンプレートを、車両データストア１２１からそれぞれ取得する。この例では、物体テンプレートは、第１の物体種別「カラーコーン」と一致する状況物体全体を記述する。対応する部分テンプレートは、同じ状況物体の一番上の部分を記述している第１の部分テンプレート、および同じ状況物体の残りの部分（例えば、一番下の部分）を記述している第２の部分テンプレートを含む。

ブロック６０４では、物体検出器２０４は、物体検出器２０４と関連付けられた物体種別と一致する可能性のある、候補の状況物体を決定するために、ＲＯＩの特徴マップに物体テンプレートを適用する。上述の例を続けると、第１の物体検出器２０４ａにおいて、物体フィルタ２５０は、第１の物体種別「カラーコーン」と一致する可能性のある、候補の第１の物体を決定するために、ＲＯＩの特徴マップにわたってスライドするウィンドウとして、物体テンプレートを適用する。いくつかの実施形態では、物体フィルタ２５０は、候補の第１の物体と物体テンプレートとの間の類似度（例えば、６０％）を示す物体一致スコアも計算する。

ブロック６０６において、物体検出器２０４は、所定の物体検出重み閾値を満たす物体検出重みを有する第１の部分テンプレートを決定する。いくつかの実施形態では、物体検出器２０４は、物体テンプレートに対応する複数の部分テンプレートの物体検出重みを車両データストア１２１から取得する。検出器２０４は、対応する部分テンプレートのうち
で、所定の物体検出重み閾値を満たす物体検出重みを有する第１の部分テンプレートを決定する。他の実施形態では、物体検出器２０４は、対応する部分テンプレートのうちで、最も大きな物体検出重みを有する第１の部分テンプレートを決定する。いくつかの実施形態では、部分テンプレートの物体検出重みは、トレーニングプロセスをとおして決定される。トレーニングプロセスの間、物体検出器２０４は、その物体検出器２０４に関連する物体種別と一致する状況物体をさまざまなトレーニング画像のなかで検出する。物体検出器２０４は、各トレーニング画像において検出された状況物体の、トレーニング画像と関連付けられた所定の目標出力との比較に基づいて、部分テンプレートの物体検出重みを調整する。例えば、既知の交通状況を含むトレーニング画像から得られる出力と、当該交通状況に対応する所定の目標出力の差が閾値以下となるように、機械学習によって、当該交通状況に対応する、状況物体の物体検出重みを調整する。

上述の例を続けると、第１の物体検出器２０４ａにおいて、部分フィルタ２５２は、第１の物体種別「カラーコーン」と一致する状況物体を記述している、第１の部分テンプレートおよび第２の部分テンプレートの物体検出重みを、車両データストア１２１から取得する。この例では、部分フィルタ２５２は、状況物体の一番上の部分を記述している第１の部分テンプレートは、物体検出重み０．７５を有し、状況物体の一番下の部分を記述している第２の部分テンプレートは、物体検出重み０．２５を有していると決定する。したがって、部分フィルタ２５２は、第１の部分テンプレートは、所定の物体検出重み閾値（例えば、０．６超）を満たす物体検出重みを有していると決定する。

ブロック６０８において、物体検出器２０４は、第１の部分テンプレートに対応する、候補の状況物体の第１の部分一致スコアを決定するために、第１の部分テンプレートを候補の状況物体に適用する。いくつかの実施形態では、第１の部分一致スコアは、候補の状況物体と第１の部分テンプレートとの間の類似度を示す。ブロック６１０において、物体検出器２０４は、第１の部分テンプレートに対応する、候補の状況物体の第１の部分一致スコアが、所定の部分一致スコア閾値を満たしているかどうかを決定する。ブロック６１０において、物体検出器２０４が、第１の部分テンプレートに対応する、候補の状況物体の第１の部分一致スコアが、所定の部分一致スコア閾値を満たしていないと決定する場合、方法６００は、ブロック６２０へ進む。ブロック６２０において、物体検出器２０４は、候補の状況物体が、物体検出器２０４と関連付けられた物体種別と一致する状況物体ではないと決定する。このように、これらの実施形態では、相対的に大きな物体検出重みを有する物体部分が、候補の状況物体において検出されない場合、物体検出器２０４は、他の部分テンプレートを候補の状況物体に適用することを回避することができ、候補の状況物体が、その物体検出器２０４に関連する物体種別と一致する状況物体ではないと即座に決定することができる。この実施態様は、ＲＯＩにおいて状況物体を検出するための処理時間を大幅に低減することができるので、特に有利である。

上述の例を続けると、第１の物体検出器２０４ａにおいて、第１の部分テンプレートが、所定の物体検出重み閾値を満たす物体検出重みを有しているので、部分フィルタ２５２は、先ず、第１の部分テンプレートを候補の第１の物体に適用する。第１の部分テンプレートは、第１の物体種別「カラーコーン」と一致する状況物体の一番上の部分を記述する。この例では、部分フィルタ２５２は、第１の部分テンプレートに対応する、候補の第１の物体の第１の部分一致スコアが１０％であると決定すると仮定する。それに応じて、部分フィルタ２５２は、候補の第１の物体の第１の部分一致スコアが、所定の部分一致スコア閾値（例えば、７０％超）を満たしておらず、したがって、第１の物体種別「カラーコーン」と一致する状況物体の一番上の部分は、候補の第１の物体内に存在していないと決定する。結果として、物体検出マネージャ２５４は、部分フィルタ２５２が第２の部分テンプレートを候補の第１の物体に適用することなく、候補の第１の物体が、第１の物体種別「カラーコーン」と一致する状況物体ではないと決定する。

ブロック６１０において、物体検出器２０４が、第１の部分テンプレートに対応する、候補の状況物体の第１の部分一致スコアが、所定の部分一致スコア閾値を満たしていると決定する場合、方法６００は、ブロック６１２へ進む。ブロック６１２において、物体検出器２０４は、第２の部分テンプレートに対応する、候補の状況物体の第２の部分一致スコアを決定するために、第２の部分テンプレートを候補の状況物体に適用する。いくつかの実施形態では、第２の部分テンプレートは、物体テンプレートに対応する複数の部分テンプレートのなかの残りのテンプレートであり得る。上述の例を続けると、第１の物体検出器２０４ａにおいて、部分フィルタ２５２は、第１の部分テンプレートに対応する、候補の第１の物体の第１の部分一致スコアが８０％であると決定すると仮定する。それに応じて、部分フィルタ２５２は、候補の第１の物体の第１の部分一致スコアが、所定の部分一致スコア閾値（例えば、７０％超）を満たしており、したがって、第１の物体種別「カラーコーン」と一致する状況物体の一番上の部分は、候補の第１の物体内に存在していると決定する。次いで、部分フィルタ２５２は、第１の物体種別「カラーコーン」と一致する状況物体の一番下の部分を記述している第２の部分テンプレートを候補の第１の物体に適用する。この例では、部分フィルタ２５２は、第２の部分テンプレートに対応する、候補の第１の物体の第２の部分一致スコアが４５％であると決定する。

ブロック６１４において、物体検出器２０４は、物体検出器２０４と関連付けられた物体種別に対する、候補の状況物体の類似度に基づいて、候補の状況物体についての物体信頼度スコアを生成する。いくつかの実施形態では、物体検出器２０４は、物体テンプレートに対する、候補の状況物体の物体一致スコア、および物体テンプレートに対応する部分テンプレートに対する、候補の状況物体の部分一致スコアを使用して、候補の状況物体についての物体信頼度スコアを計算する。例えば、いくつかの実施形態では、候補の状況物体の物体信頼度スコアは、候補の状況物体の物体一致スコアに正比例する。いくつかの実施形態では、物体検出器２０４は、候補の状況物体についての重み付け平均部分一致スコアを計算し、候補の状況物体の物体信頼度スコアは、重み付け平均部分一致スコアに正比例する。いくつかの実施形態では、候補の状況物体についての重み付け平均部分一致スコアは、各部分テンプレートに対応する、候補の状況物体の部分一致スコア、および部分テンプレートと関連付けられた物体検出重みを使用して計算される。上述の例を続けると、第１の物体検出器２０４ａにおいて、物体検出マネージャ２５４は、候補の第１の物体についての重み付け平均部分一致スコア＝Σ（部分一致スコア×物体検出重み）／部分テンプレート数＝（８０％×０．７５＋４５％×０．２５）／２＝３５．６３％を計算する。

いくつかの実施形態では、物体検出器２０４はまた、対応する物体テンプレートに対する部分テンプレートの相対的な空間的位置に基づいて、候補の状況物体についての物体信頼度スコアを計算する。上述の例を続けると、第１の物体検出器２０４ａにおいて、物体検出マネージャ２５４は、第１の部分テンプレートと一致する第１の画像部分、および第２の部分テンプレートと一致する第２の画像部分を候補の第１の物体にマッピングする。次いで、物体検出マネージャ２５４は、候補の第１の物体に対する第１の画像部分および第２の画像部分の相対的な空間的位置が、第１の物体種別「カラーコーン」と一致する状況物体に対する第１の部分テンプレートおよび第２の部分テンプレートの相対的な空間的位置に準じているかどうかを決定する。この例では、第１の部分テンプレートは、第１の物体種別「カラーコーン」と一致する状況物体の一番上の部分を記述し、第２の部分テンプレートは、同じ状況物体の一番下の部分を記述する。したがって、第１の部分テンプレートは、第２の部分テンプレートの上方に位置する。この例では、第１の部分テンプレートと一致する第１の画像部分が、第２の部分テンプレートと一致する第２の画像部分の下方に位置していると仮定する。したがって、物体検出マネージャ２５４は、第１の画像部分および第２の画像部分の空間的位置が、第１の部分テンプレートおよび第２の部分テンプレートの空間的位置に準拠していないと決定する。結果として、一致している物体部分
の空間的位置が正しくないため、物体検出マネージャ２５４は、候補の第１の物体が、第１の物体種別「カラーコーン」と一致する状況物体ではないと決定する。それに応じて、物体検出マネージャ２５４は、候補の第１の物体についての物体信頼度スコアを０％と生成する。

ブロック６１６において、物体検出器２０４は、候補の状況物体の物体信頼度スコアが、所定の物体信頼度スコア閾値（例えば、２０％未満）を満たしているかどうかを決定する。ブロック６１６において、物体検出器２０４は、候補の状況物体の物体信頼度スコアが、所定の物体信頼度スコア閾値を満たしていると決定する場合、方法６００は、ブロック６１８へ進む。ブロック６１８において、物体検出器２０４は、候補の状況物体が、物体検出器２０４と関連付けられた物体種別と一致する状況物体であると決定する。ブロック６１６において、物体検出器２０４が、候補の状況物体の物体信頼度スコアが、所定の物体信頼度スコア閾値を満たしていないと決定する場合、方法６００は、ブロック６２０へ進む。ブロック６２０において、物体検出器２０４は、候補の状況物体が、物体検出器２０４と関連付けられた物体種別と一致する状況物体ではないと決定する。

いくつかの実施形態では、候補の状況物体が、物体検出器２０４と関連付けられた物体種別と一致する状況物体であると決定される場合、物体検出器２０４は、ＲＯＩにおいて状況物体を示すバウンディングボックスを決定する。ＲＯＩにおいて状況物体を示すバウンディングボックスは、候補の状況物体によって占有されている、ＲＯＩの画像領域を包含する。いくつかの実施形態では、物体検出器２０４は、ＲＯＩにおいて状況物体を示すバウンディングボックス、および状況物体の物体信頼度スコアを出力する。いくつかの実施形態では、物体検出器２０４は、候補の状況物体すべてのバウンディングボックスおよび物体信頼度スコアを、これらの候補の状況物体の物体信頼度スコアが所定の物体信頼度スコア閾値を満たしているかどうかにかかわらず、出力する。いくつかの実施形態では、物体検出器２０４は、ＲＯＩにおいて検出された状況物体のバウンディングボックスおよび物体信頼度スコアを、車両データストア１２１に記憶する。

物体検出器２０４によって実行される物体検出は、特に有利である。上述のように、各物体検出器２０４は、ＲＯＩにおいてその物体検出器２０４と関連する物体種別と一致する状況物体を、複数の要因（例えば、物体テンプレートに対応する物体一致スコア、部分テンプレートに対応する部分一致スコア、部分テンプレートの物体検出重み、物体テンプレートに対する部分テンプレートの相対的な空間的位置など）に基づいて検出する。したがって、物体検出の精度を向上させることができる。また、物体検出が、物体テンプレートの適用に続いて部分テンプレートを適用することによって２つのレベルで階層的に実行されるので、ＲＯＩにおいて状況物体の一部分だけが描写されている場合でも、状況物体を検出することができる。各物体検出器２０４は、ＲＯＩにおいて、その物体検出器２０４と関連付けられた物体種別と一致する任意の数の状況物体を検出することが理解されるべきである。上述の例では、第１の物体検出器２０４ａは、ＲＯＩにおいて、第１の物体種別「カラーコーン」と一致する１つまたは複数の状況物体を検出するか、または、ＲＯＩにおいて、第１の物体種別「カラーコーン」と一致する状況物体を一切検出し得ない。

図３に戻って参照すると、ブロック３０８において、状況検出マネージャ２０６は、物体検出器２０４によってＲＯＩにおいて検出された状況物体に基づいて、特定の状況カテゴリによって定義された交通状況をＲＯＩが描写しているかどうかを決定する。いくつかの実施形態では、状況検出マネージャ２０６は、ＲＯＩにおいて検出された状況物体の物体種別と関連付けられた予測される状況カテゴリを決定する。状況検出マネージャ２０６は、交通状況データベースを参照し、物体検出器２０４によってＲＯＩにおいて検出された物体種別が、予測される状況カテゴリと関連付けられていると決定する。一例として、第１の物体種別「カラーコーン」と一致する状況物体を検出するように構成された第１の
物体検出器２０４ａが、第１の道路情景画像のＲＯＩにおいて、物体信頼度スコア４５％、７０％、および９５％をそれぞれ有する３つの第１の状況物体（例えば、カラーコーン１、カラーコーン２、カラーコーン３）を検出すると仮定する。この例では、また第２の物体種別「工事標識」と一致する状況物体を検出するように構成された第２の物体検出器２０４ｂが、ＲＯＩにおいて、物体信頼度スコア７５％を有する１つの第２の状況物体（例えば、工事標識１）を検出すると仮定する。他の物体検出器２０４は、それらの物体検出器２０４の関連する物体種別と一致する状況物体が、第１の道路情景画像のＲＯＩにおいて存在していないと決定する。この例では、状況検出マネージャ２０６は、第１の物体種別「カラーコーン」および第２の物体種別「工事標識」が、交通状況データベース内の状況カテゴリ「工事現場」と関連付けられると決定する。それに応じて、状況検出マネージャ２０６は、ＲＯＩにおいて描写されている可能性のある交通状況についての予測される状況カテゴリを、状況カテゴリ「工事現場」であると決定する。

いくつかの実施形態では、状況検出マネージャ２０６は、物体検出器２０４によってＲＯＩにおいて検出された状況物体の物体信頼度スコアを統合して、予測される状況カテゴリに対応する状況信頼度スコアにする。こうした状況信頼度スコアは、予測される状況カテゴリによって定義された交通状況がＲＯＩにおいて描写されている信頼度のレベルを示す。さらなる例示のために、図５は、状況信頼度スコアを計算するための一例の方法５００のフローチャートである。ブロック５０２において、ＲＯＩにおいて検出された、第１の物体種別の状況物体について、状況検出マネージャ２０６は、予測される状況カテゴリによって定義された交通状況を検出することにおける第１の物体種別の第１の状況検出重みを、車両データストア１２１から取得する。ブロック５０４において、ＲＯＩにおいて検出された、第２の物体種別の状況物体について、状況検出マネージャ２０６は、予測される状況カテゴリによって定義された交通状況を検出することにおける第２の物体種別の第２の状況検出重みを、車両データストア１２１から取得する。ＲＯＩにおいて検出された、他の物体種別の他の状況物体について、状況検出マネージャ２０６は、車両データストア１２１から、予測される状況カテゴリによって定義された交通状況を検出することにおける他の物体種別の状況検出重みも取得する。

上述の例を続けると、第１の物体検出器２０４ａが、ＲＯＩにおいて、第１の物体種別「カラーコーン」と一致する第１の状況物体（例えば、カラーコーン１、カラーコーン２、カラーコーン３）を検出するので、状況検出マネージャ２０６は、予測される状況カテゴリ「工事現場」によって定義された交通状況を検出することにおける第１の物体種別「カラーコーン」の第１の状況検出重みを、車両データストア１２１から取得する（例えば、０．７）。第２の物体検出器２０４ｂが、ＲＯＩにおいて、第２の物体種別「工事標識」と一致する第２の状況物体（例えば、工事標識１）を検出するので、状況検出マネージャ２０６は、予測される状況カテゴリ「工事現場」によって定義された交通状況を検出することにおける第２の物体種別「工事標識」の第２の状況検出重みを、車両データストア１２１から取得する（例えば、１．０）。いくつかの実施形態では、特定の状況カテゴリによって定義された交通状況を検出することにおけるさまざまな物体種別の状況検出重みは、トレーニングプロセスをとおして決定される。トレーニングプロセスでは、状況検出マネージャ２０６が、特定の状況カテゴリによって定義された交通状況が、さまざまなトレーニング画像において描写されているかどうかを決定する。状況検出マネージャ２０６は、各トレーニング画像において検出された交通状況の、トレーニング画像と関連付けられた所定の目標出力との比較に基づいて、特定の状況カテゴリによって定義された交通状況を検出することにおける物体種別の状況検出重みを調整する。例えば、既知の交通状況を含むトレーニング画像から得られる出力と、当該交通状況に対応する所定の目標出力の差が閾値以下となるように、機械学習によって、当該交通状況に対応する、状況物体の物体検出重みを調整する。

ブロック５０６において、状況検出マネージャ２０６は、予測される状況カテゴリに対応する、ＲＯＩの状況信頼度スコアを、ＲＯＩにおいて検出された第１の状況物体の第１の物体信頼度スコア、予測される状況カテゴリによって定義された交通状況を検出することにおけるそれらの第１の物体種別の第１の状況検出重み、ＲＯＩにおいて検出された第２の状況物体の第２の物体信頼度スコア、および予測される状況カテゴリによって定義された交通状況を検出することにおけるそれらの第２の物体種別の第２の状況検出重みに基づいて、計算する。ＲＯＩにおいて検出された他の状況物体の物体信頼度スコア、および予測される状況カテゴリによって定義された交通状況を検出することにおけるそれらの物体種別の状況検出重みも、道路情景画像のＲＯＩについての予測される状況カテゴリに対応する状況信頼度スコアを計算するのに使用される。

いくつかの実施形態では、状況検出マネージャ２０６は、予測される状況カテゴリに対応する、ＲＯＩの重み付け平均物体信頼度スコアを計算し、予測される状況カテゴリに対応する、ＲＯＩの状況信頼度スコアは、重み付け平均物体信頼度スコアに正比例する。いくつかの実施形態では、予測される状況カテゴリに対応する、ＲＯＩの重み付け平均物体信頼度スコアは、物体検出器２０４によってＲＯＩにおいて検出された状況物体の物体信頼度スコア、および予測される状況カテゴリによって定義された交通状況を検出することにおけるそれらの物体種別の状況検出重みを使用して計算される。上述の例を続けると、状況検出マネージャ２０６は、第１の道路情景画像におけるＲＯＩについて、予測される状況カテゴリ「工事現場」に対応する重み付け平均物体信頼度スコア＝Σ（物体信頼度スコア×状況検出重み）／状況物体の数＝（４５％×０．７＋７０％×０．７＋９０％×０．７＋７５％×１．０）／４＝５４．６３％を計算する。

いくつかの実施形態では、予測される状況カテゴリに対応する、ＲＯＩの状況信頼度スコアは、予測される状況カテゴリと関連付けられている、ＲＯＩにおいて検出された物体種別数と正比例する。上述の例では、状況検出マネージャ２０６は、ＲＯＩが、予測される状況カテゴリ「工事現場」と関連付けられた２つの物体種別（例えば、第１の物体種別「カラーコーン」および第２の物体種別「工事標識」）を描写していると決定する。いくつかの実施形態では、予測される状況カテゴリに対応する、ＲＯＩの状況信頼度スコアは、予測される状況カテゴリと関連付けられた物体種別と一致する、ＲＯＩにおいて検出された状況物体の数と正比例する。上述の例では、状況検出マネージャ２０６は、ＲＯＩが、予測される状況カテゴリ「工事現場」と関連付けられた物体種別の４つの状況物体（例えば、第１の物体種別「カラーコーン」と一致する３つの第１の状況物体、および第２の物体種別「工事標識」と一致する１つの第２の状況物体）を描写していると決定する。

いくつかの実施形態では、状況検出マネージャ２０６は、予測される状況カテゴリが道路情景画像のＲＯＩに適用されるかどうか、および予測される状況カテゴリによって定義された交通状況がＲＯＩにおいて描写されていることを決定するために、ＲＯＩの状況信頼度スコアを評価する。上述の例を続けると、状況検出マネージャ２０６は、第１の道路情景画像においてＲＯＩについての予測される状況カテゴリ「工事現場」に対応する状況信頼度スコアが７５％であると決定すると仮定する。この例では、状況検出マネージャ２０６は、予測される状況カテゴリ「工事現場」に対応する、ＲＯＩの状況信頼度スコアが、所定の状況信頼度スコア閾値（例えば、６０％超）を満たしていると決定する。それに応じて、状況検出マネージャ２０６は、予測される状況カテゴリ「工事現場」が第１の道路情景画像のＲＯＩに適用されること、および予測される状況カテゴリ「工事現場」によって定義された交通状況がＲＯＩにおいて描写されていることを決定する。

いくつかの実施形態では、予測される状況カテゴリが道路情景画像のＲＯＩに適用されること、および予測される状況カテゴリによって定義された交通状況がＲＯＩにおいて描写されていることを決定することに応答して、状況検出マネージャ２０６は、交通状況の
状況領域を生成するために、ＲＯＩにおいて検出された状況物体のバウンディングボックスを統合する。交通状況の状況領域は、道路情景画像のＲＯＩにおいて交通状況によって占有された画像領域を示す。上述の例を続けると、状況検出マネージャ２０６は、第１の道路情景画像のＲＯＩにおいて検出された、カラーコーン１、カラーコーン２、カラーコーン３、および工事標識１のバウンディングボックスを、ＲＯＩにおいて状況カテゴリ「工事現場」によって定義された交通状況の状況領域を生成するために統合する。いくつかの実施形態では、状況検出マネージャ２０６は、予測される状況カテゴリに対応する、ＲＯＩの状況領域、およびＲＯＩの状況信頼度スコアを出力する。いくつかの実施形態では、状況検出マネージャ２０６は、予測される状況カテゴリに対応する、ＲＯＩの状況領域およびＲＯＩの状況信頼度スコアを、車両データストア１２１に記憶する。

上述のように、物体検出器２０４は、道路情景画像のＲＯＩに存在しているさまざまな物体種別の状況物体を検出し、状況検出マネージャ２０６は、特定の状況カテゴリによって定義された交通状況をＲＯＩが描写しているかどうかを決定するために、ＲＯＩにおいて検出された複数の状況物体を評価する。それに応じて、以下の例で示すように、道路情景画像のＲＯＩに複数の状況カテゴリと関連付けられたさまざまな物体種別が存在している場合でも、交通状況を正確に検出およびカテゴライズすることができる。

第１の例として、第１の物体種別「カラーコーン」と一致する状況物体を検出するように構成された第１の物体検出器２０４ａが、役割を実行し、第１の道路情景画像の第１のＲＯＩにおいて、第１の物体信頼度スコア４５％、７０％、および９５％をそれぞれ有する、第１の物体種別「カラーコーン」と一致する３つの第１の状況物体（例えば、カラーコーン１、カラーコーン２、カラーコーン３）を検出する。第２の物体種別「工事標識」と一致する状況物体を検出するように構成された第２の物体検出器２０４ｂが、第１の物体検出器２０４ａと並行に役割を実行し、第１のＲＯＩにおいて、第２の物体信頼度スコア７５％を有する１つの第２の状況物体（例えば、工事標識１）を検出する。この第１の例を続けると、第３の物体種別「警察官」と一致する状況物体を検出するように構成された第３の物体検出器２０４ｃが、第１の物体検出器２０４ａと並行に役割を実行し、第１のＲＯＩにおいて、第３の物体信頼度スコア６０％および６５％をそれぞれ有する２つの第３の状況物体（例えば、警察官１、警察官２）を検出する。第４の物体種別「緊急車両」と一致する状況物体を検出するように構成された第４の物体検出器２０４ｄが、第１の物体検出器２０４ａと並行に役割を実行し、第１のＲＯＩにおいて、第４の物体信頼度スコア８５％を有する１つの第４の状況物体（例えば、緊急車両１）を検出する。

この第１の例では、４つの異なった物体種別の７つの状況物体が、第１の道路情景画像の第１のＲＯＩにおいて検出される。いくつかの実施形態では、状況検出マネージャ２０６が交通状況データベースを参照し、第１の物体種別「カラーコーン」および第２の物体種別「工事標識」は交通状況データベース内で状況カテゴリ「工事現場」と関連付けられており、一方、第３の物体種別「警察官」および第４の物体種別「緊急車両」は交通状況データベース内で状況カテゴリ「事故現場」と関連付けられていると決定する。それに応じて、状況検出マネージャ２０６は、第１のＲＯＩにおいて描写されている可能性のある第１の交通状況についての第１の予測される状況カテゴリを、状況カテゴリ「工事現場」であると決定し、第１のＲＯＩにおいて描写されている可能性のある第２の交通状況についての第２の予測される状況カテゴリを状況カテゴリ「事故現場」であると決定する。

いくつかの実施形態では、本明細書の他の部分で論じるように、状況検出マネージャ２０６は、第１の物体種別「カラーコーン」と一致する第１の状況物体（例えば、カラーコーン１、カラーコーン２、カラーコーン３）の第１の物体信頼度スコアと、第２の物体種別「工事標識」と一致する第２の状況物体（例えば、工事標識１）の第２の物体信頼度スコアとを統合して、第１の予測される状況カテゴリ「工事現場」に対応する、第１のＲＯ
Ｉの第１の状況信頼度スコア（例えば、７５％）にする。状況検出マネージャ２０６は、第３の物体種別「警察官」と一致する第３の状況物体（例えば、警察官１、警察官２）の第３の物体信頼度スコアと、第４の物体種別「緊急車両」と一致する第４の状況物体（例えば、緊急車両１）の第４の物体信頼度スコアとを統合して、第２の予測される状況カテゴリ「事故現場」に対応する、第１のＲＯＩの第２の状況信頼度スコア（例えば、７０％）にもする。

いくつかの実施形態では、本明細書の他の部分で論じるように、状況検出マネージャ２０６は、第１の予測される状況カテゴリ「工事現場」に対応する、第１のＲＯＩの第１の状況信頼度スコア（例えば、７５％）、および、第２の予測される状況カテゴリ「事故現場」に対応する、第１のＲＯＩの第２の状況信頼度スコア（例えば、７０％）を評価する。例えば、状況検出マネージャ２０６は、第１のＲＯＩの第１の状況信頼度スコア、および第１のＲＯＩの第２の状況信頼度スコアが両方とも、所定の状況信頼度スコア閾値（例えば、６０％超）を満たしていると決定する。それに応じて、状況検出マネージャ２０６は、第１の予測される状況カテゴリ「工事現場」が第１のＲＯＩに適用され、第２の予測される状況カテゴリ「事故現場」も第１のＲＯＩに適用されると決定する。このように、状況検出マネージャ２０６は、第１の予測される状況カテゴリ「工事現場」によって定義された第１の交通状況、および第２の予測される状況カテゴリ「事故現場」によって定義された第２の交通状況が、第１のＲＯＩにおいて描写されている（例えば、道路工事と交通事故とが同じ地理的位置で発生している）と決定する。この第１の例では、異なった状況カテゴリによって定義された複数の交通状況が、第１の道路情景画像の同じ第１のＲＯＩにおいて検出される。

第２の例として、第１の物体検出器２０４ａが、役割を実行し、第２の道路情景画像の第２のＲＯＩにおいて、第１の物体信頼度スコア４５％、７０％、および９５％をそれぞれ有する、第１の物体種別「カラーコーン」と一致する３つの第１の状況物体（例えば、カラーコーン１、カラーコーン２、カラーコーン３）を検出する。第２の物体検出器２０４ｂが、第１の物体検出器２０４ａと並行に役割を実行し、第２のＲＯＩにおいて、第２の物体信頼度スコア７５％を有する１つの第２の状況物体（例えば、工事標識１）を検出する。この第２の例を続けると、第３の物体検出器２０４ｃが、第１の物体検出器２０４ａと並行に役割を実行し、第２のＲＯＩにおいて、第３の物体信頼度スコア３５％および３０％をそれぞれ有する２つの第３の状況物体（例えば、警察官１、警察官２）を検出すると仮定する。第４の物体検出器２０４ｄが、第１の物体検出器２０４ａと並行に役割を実行し、第２のＲＯＩにおいて、第４の物体信頼度スコア３０％を有する１つの第４の状況物体（例えば、緊急車両１）を検出する。この第２の例では、第２のＲＯＩにおいて描写されている第３の状況物体は、実際には警察官ではなく道路作業者であり、第２のＲＯＩにおいて描写されている第４の状況物体は、実際には緊急車両ではなくてバンであると仮定する。したがって、第３の物体検出器２０４ｃによって計算された第３の状況物体の第３の物体信頼度スコア、および第４の物体検出器２０４ｄによって計算された第４の状況物体の第４の物体信頼度スコアは、相対的に小さいものであり得る。

この第２の例では、４つの異なった物体種別の７つの状況物体が、第２の道路情景画像の第２のＲＯＩにおいて検出される。いくつかの実施形態では、状況検出マネージャ２０６が交通状況データベースを参照し、第１の物体種別「カラーコーン」および第２の物体種別「工事標識」は交通状況データベース内で状況カテゴリ「工事現場」と関連付けられており、一方、第３の物体種別「警察官」および第４の物体種別「緊急車両」は交通状況データベース内で状況カテゴリ「事故現場」と関連付けられていると決定する。それに応じて、状況検出マネージャ２０６は、第２のＲＯＩにおいて描写されている可能性のある第１の交通状況についての第１の予測される状況カテゴリを、状況カテゴリ「工事現場」であると決定し、第２のＲＯＩにおいて描写されている可能性のある第２の交通状況につ
いての第２の予測される状況カテゴリを状況カテゴリ「事故現場」であると決定する。

いくつかの実施形態では、状況検出マネージャ２０６は、第１の物体種別「カラーコーン」と一致する第１の状況物体（例えば、カラーコーン１、カラーコーン２、カラーコーン３）の第１の物体信頼度スコアと、第２の物体種別「工事標識」と一致する第２の状況物体（例えば、工事標識１）の第２の物体信頼度スコアとを統合して、第１の予測される状況カテゴリ「工事現場」に対応する、第２のＲＯＩの第１の状況信頼度スコア（例えば、７５％）にする。状況検出マネージャ２０６は、第３の物体種別「警察官」と一致する第３の状況物体（例えば、警察官１、警察官２）の第３の物体信頼度スコアと、第４の物体種別「緊急車両」と一致する第４の状況物体（例えば、緊急車両１）の第４の物体信頼度スコアとを統合して、第２の予測される状況カテゴリ「事故現場」に対応する、第２のＲＯＩの第２の状況信頼度スコア（例えば、３０％）にもする。

いくつかの実施形態では、本明細書の他の部分で論じるように、状況検出マネージャ２０６は、第１の予測される状況カテゴリ「工事現場」に対応する、第２のＲＯＩの第１の状況信頼度スコア（例えば、７５％）、および、第２の予測される状況カテゴリ「事故現場」に対応する、第２のＲＯＩの第２の状況信頼度スコア（例えば、３０％）を評価する。例えば、状況検出マネージャ２０６は、第２のＲＯＩの第１の状況信頼度スコアは、所定の状況信頼度スコア閾値（例えば、６０％超）を満たしており、一方、第２のＲＯＩの第２の状況信頼度スコアは満たしていないと決定する。それに応じて、状況検出マネージャ２０６は、第１の予測される状況カテゴリ「工事現場」は第２のＲＯＩに適用され、第２の予測される状況カテゴリ「事故現場」は第２のＲＯＩに適用されないと決定する。したがって、状況検出マネージャ２０６は、第１の予測される状況カテゴリ「工事現場」によって定義された第１の交通状況は、第２のＲＯＩにおいて描写されており、第２の予測される状況カテゴリ「事故現場」によって定義された交通状況は、第２のＲＯＩにおいて描写されていないと決定する。この第２の例では、状況検出マネージャ２０６は、第２のＲＯＩに存在しているさまざまな物体種別の状況物体に基づいて、複数の予測される状況カテゴリを決定するが、状況検出マネージャ２０６は、第１の予測される状況カテゴリ「工事現場」によって定義された交通状況だけが、第２の道路情景画像の第２のＲＯＩにおいて描写されていると決定する。

第３の例として、第１の物体種別「カラーコーン」と一致する状況物体を検出するように構成された第１の物体検出器２０４ａが、役割を実行し、第３の道路情景画像の第３のＲＯＩにおいて、第１の物体信頼度スコア４５％、７０％、および９５％をそれぞれ有する、第１の物体種別「カラーコーン」と一致する３つの第１の状況物体（例えば、カラーコーン１、カラーコーン２、カラーコーン３）を検出する。第５の物体種別「バリケード」と一致する状況物体を検出するように構成された第５の物体検出器２０４ｅが、第１の物体検出器２０４ａと並行に役割を実行し、第３のＲＯＩにおいて、第２の物体信頼度スコア６５％および７５％をそれぞれ有する２つの第２の状況物体（例えば、バリケード１、バリケード２）を検出する。この第３の例を続けると、第３の物体種別「警察官」と一致する状況物体を検出するように構成された第３の物体検出器２０４ｃが、第１の物体検出器２０４ａと並行に役割を実行し、第３のＲＯＩにおいて、第３の物体信頼度スコア３５％および３０％をそれぞれ有する２つの第３の状況物体（例えば、警察官１、警察官２）を検出する。この第３の例では、第３のＲＯＩにおいて描写されている第３の状況物体は、実際には警察官ではなく道路作業者であり、したがって第３の物体検出器２０４ｃによって計算された第３の状況物体の第３の物体信頼度スコアは、相対的に小さいものであり得る。

この第３の例では、３つの異なった物体種別の７つの状況物体が、第３の道路情景画像の第３のＲＯＩにおいて検出される。いくつかの実施形態では、状況検出マネージャ２０
６が交通状況データベースを参照し、第１の物体種別「カラーコーン」および第５の物体種別「バリケード」は交通状況データベース内で状況カテゴリ「工事現場」と関連付けられており、一方、第５の物体種別「バリケード」および第３の物体種別「警察官」は交通状況データベース内で状況カテゴリ「事故現場」と関連付けられていると決定する。それに応じて、状況検出マネージャ２０６は、第３のＲＯＩにおいて描写されている可能性のある第１の交通状況についての第１の予測される状況カテゴリを、状況カテゴリ「工事現場」であると決定し、第３のＲＯＩにおいて描写されている可能性のある第２の交通状況についての第２の予測される状況カテゴリを状況カテゴリ「事故現場」であると決定する。この第３の例では、第５の物体種別「バリケード」は、状況カテゴリ「工事現場」および状況カテゴリ「事故現場」の両方と関連付けられ得る。本明細書の他の部分で論じるように、状況カテゴリ「事故現場」によって定義された交通状況を検出することにおける物体種別「バリケード」の状況検出重み（例えば、０．７）は、状況カテゴリ「工事現場」によって定義された交通状況を検出することにおける物体種別「バリケード」の状況検出重み（例えば、０．６）よりも相対的に大きく、それはバリケードが、工事の状況下よりも事故の状況下において存在する可能性が高いためである。

いくつかの実施形態では、状況検出マネージャ２０６は、第１の物体種別「カラーコーン」と一致する第１の状況物体（例えば、カラーコーン１、カラーコーン２、カラーコーン３）の第１の物体信頼度スコアと、第５の物体種別「バリケード」と一致する第２の状況物体（例えば、バリケード１、バリケード２）の第２の物体信頼度スコアとを統合して、第１の予測される状況カテゴリ「工事現場」に対応する、第３のＲＯＩの第１の状況信頼度スコア（例えば、７０％）にする。状況検出マネージャ２０６は、第５の物体種別「バリケード」と一致する第２の状況物体（例えば、バリケード１、バリケード２）の第２の物体信頼度スコアと、第３の物体種別「警察官」と一致する第３の状況物体（例えば、警察官１、警察官２）の第３の物体信頼度スコアとを統合して、第２の予測される状況カテゴリ「事故現場」に対応する、第３のＲＯＩの第２の状況信頼度スコア（例えば、４０％）にもする。

いくつかの実施形態では、状況検出マネージャ２０６は、第１の予測される状況カテゴリ「工事現場」に対応する、第３のＲＯＩの第１の状況信頼度スコア（例えば、７０％）、および、第２の予測される状況カテゴリ「事故現場」に対応する、第３のＲＯＩの第２の状況信頼度スコア（例えば、４０％）を評価する。例えば、状況検出マネージャ２０６は、第３のＲＯＩの第１の状況信頼度スコアは、所定の状況信頼度スコア閾値（例えば、６０％超）を満たしており、一方、第３のＲＯＩの第２の状況信頼度スコアは満たしていないと決定する。それに応じて、状況検出マネージャ２０６は、第１の予測される状況カテゴリ「工事現場」は第３のＲＯＩに適用され、第２の予測される状況カテゴリ「事故現場」は第３のＲＯＩに適用されないと決定する。したがって、状況検出マネージャ２０６は、第１の予測される状況カテゴリ「工事現場」によって定義された第１の交通状況は、第３のＲＯＩにおいて描写されており、第２の予測される状況カテゴリ「事故現場」によって定義された交通状況は、第３のＲＯＩにおいて描写されていないと決定する。この第３の例では、第３のＲＯＩにおいて検出された第２の交通状況の第５の物体種別「バリケード」は、状況カテゴリ「工事現場」および状況カテゴリ「事故現場」両方と関連付けられ、状況カテゴリ「事故現場」によって定義された交通状況を検出することにおいて、より大きな物体検出重みを有しうる。しかしながら、第３のＲＯＩについて複数の要因から生成された第１の状況信頼度スコアおよび第２の状況信頼度スコアに基づいて、状況検出マネージャ２０６は、第１の予測される状況カテゴリ「工事現場」によって定義された第１の交通状況だけが、第３の道路情景画像の第３のＲＯＩにおいて描写されていると決定する。

第４の例として、第１の物体種別「カラーコーン」と一致する状況物体を検出するよう
に構成された第１の物体検出器２０４ａが、役割を実行し、第４の道路情景画像の第４のＲＯＩにおいて、第１の物体信頼度スコア３５％および４０％をそれぞれ有する、第１の物体種別「カラーコーン」と一致する２つの第１の状況物体（例えば、カラーコーン１、カラーコーン２）を検出する。第２の物体種別「工事標識」と一致する状況物体を検出するように構成された第２の物体検出器２０４ｂが、第１の物体検出器２０４ａと並行に役割を実行し、第４のＲＯＩにおいて、第２の物体信頼度スコア５０％を有する１つの第２の状況物体（例えば、工事標識１）を検出する。この第４の例では、２つの異なった物体種別の３つの状況物体が、第４の道路情景画像の第４のＲＯＩにおいて検出される。いくつかの実施形態では、状況検出マネージャ２０６は、交通状況データベースを参照し、第１の物体種別「カラーコーン」および第２の物体種別「工事標識」が、交通状況データベース内で状況カテゴリ「工事現場」と関連付けられていると決定する。それに応じて、状況検出マネージャ２０６は、第４のＲＯＩにおいて描写されている可能性のある第１の交通状況についての第１の予測される状況カテゴリを、状況カテゴリ「工事現場」であると決定する。

いくつかの実施形態では、状況検出マネージャ２０６は、第１の物体種別「カラーコーン」と一致する第１の状況物体（例えば、カラーコーン１、カラーコーン２）の第１の物体信頼度スコアと、第２の物体種別「工事標識」と一致する第２の状況物体（例えば、工事標識１）の第２の物体信頼度スコアとを統合して、第１の予測される状況カテゴリ「工事現場」に対応する、第４のＲＯＩの第１の状況信頼度スコア（例えば、４０％）にする。この第４の例では、状況検出マネージャ２０６は、第４のＲＯＩの第１の状況信頼度スコアが、所定の状況信頼度スコア閾値（例えば、６０％超）を満たしていないと決定する。それに応じて、状況検出マネージャ２０６は、予測される状況カテゴリ「工事現場」は第４のＲＯＩに適用されないと決定し、したがって状況検出マネージャ２０６は、第１の予測される状況カテゴリ「工事現場」によって定義された第１の交通状況は第４の道路情景画像の第４のＲＯＩにおいて描写されていないと決定する。

第４の例を続けると、車両プラットフォーム１０３の画像センサは、第４の道路情景画像に続いて第５の道路情景画像を取り込み得（例えば、１秒後）、したがって第５の道路情景画像は、実質的に同じ道路を描写する。ＲＯＩプロセッサ２０２は、第５の道路情景画像から第５のＲＯＩを抽出する。いくつかの実施形態では、第１の物体種別「カラーコーン」と一致する状況物体を検出するように構成された第１の物体検出器２０４ａが、役割を実行し、第５の道路情景画像の第５のＲＯＩにおいて、第１の物体信頼度スコア７５％、８５％、および８０％をそれぞれ有する、第１の物体種別「カラーコーン」と一致する３つの第１の状況物体（例えば、カラーコーン３、カラーコーン４、カラーコーン５）を検出する。第２の物体種別「工事標識」と一致する状況物体を検出するように構成された第２の物体検出器２０４ｂが、第１の物体検出器２０４ａと並行に役割を実行し、第５のＲＯＩにおいて、第２の物体信頼度スコア９０％および８０％をそれぞれ有する２つの第２の状況物体（例えば、工事標識２、工事標識３）を検出する。

この第４の例では、２つの異なった物体種別の５つの状況物体が、第５の画像の第５のＲＯＩにおいて検出される。第５の画像の第５のＲＯＩにおいて検出された状況物体の物体種別は、第４の画像の第４のＲＯＩにおいて検出された状況物体の物体種別と同じである（例えば、第１の物体種別「カラーコーン」および第２の物体種別「工事標識」）。第４の道路情景画像の第４のＲＯＩを処理することと同様に、状況検出マネージャ２０６は、第５のＲＯＩにおいて描写されている可能性のある第１の交通状況についての第１の予測される状況カテゴリを、状況カテゴリ「工事現場」であると決定する。いくつかの実施形態では、状況検出マネージャ２０６は、第１の物体種別「カラーコーン」と一致する第１の状況物体（例えば、カラーコーン３、カラーコーン４、カラーコーン５）の第１の物体信頼度スコアと、第２の物体種別「工事標識」と一致する第２の状況物体（例えば、工
事標識２、工事標識３）の第２の物体信頼度スコアとを統合して、予測される状況カテゴリ「工事現場」に対応する、第５のＲＯＩの第２の状況信頼度スコア（例えば、８５％）にする。この第４の例では、状況検出マネージャ２０６は、第５のＲＯＩの第２の状況信頼度スコアが、所定の状況信頼度スコア閾値（例えば、６０％超）を満たしていると決定する。それに応じて、状況検出マネージャ２０６は、予測される状況カテゴリ「工事現場」は第５のＲＯＩに適用されると決定し、したがって状況検出マネージャ２０６は、予測される状況カテゴリ「工事現場」によって定義された第１の交通状況は第５の道路情景画像の第５のＲＯＩにおいて描写されていると決定する。

この第４の例では、車両プラットフォーム１０３は、第１の交通状況に対して距離ｄ_１（例えば、１００ｍ）から第４の道路情景画像を取り込む。したがって、第４の道路情景画像の第４のＲＯＩは、限られたサイズを有する、第１の交通状況に存在している限られた数の状況物体（例えば、カラーコーン１、カラーコーン２、工事標識１）だけを描写する。結果として、第４のＲＯＩについて計算された物体信頼度スコアおよび状況信頼度スコアは、相対的に小さいものであり、したがって状況検出マネージャ２０６は、第１の予測される状況カテゴリ「工事現場」によって定義された第１の交通状況は第４の道路情景画像の第４のＲＯＩにおいて描写されていないと決定する。車両プラットフォーム１０３が第１の交通状況に近づくにつれ、車両プラットフォーム１０３は、距離ｄ_１よりも短い距離ｄ_２（例えば、２５ｍ）から第５の道路情景画像を取り込む。したがって、第５の道路情景画像の第５のＲＯＩは、第１の交通状況に存在している、より多くの状況物体（カラーコーン３、カラーコーン４、カラーコーン５、工事標識２）を取り込み、およびより高い画像解像度（例えば、よりボケが少ない、より大きな物体サイズ）で状況物体を描写する。結果として、第５のＲＯＩについて計算された物体信頼度スコアおよび状況信頼度スコアは、相対的に大きいものであり、したがって状況検出マネージャ２０６は、第１の予測される状況カテゴリ「工事現場」によって定義された第１の交通状況が第５の道路情景画像の第５のＲＯＩにおいて描写されていると決定する。

図３に戻って参照すると、ブロック３０８において、状況検出マネージャ２０６が、道路情景画像のＲＯＩが、特定の状況カテゴリによって定義された交通状況を描写していると決定する場合、その道路情景画像は、交通状況を位置特定するために使用される。ブロック３１０において、状況検出マネージャ２０６は、道路情景画像のＲＯＩにおいて描写されている交通状況を記述する状況データを生成する。道路情景画像は車両プラットフォーム１０３の画像センサによって取り込まれるので、状況データは、車両プラットフォーム１０３の観点から認識されるような交通状況を記述する。いくつかの実施形態では、状況検出マネージャ２０６は、道路情景画像と関連付けられたさまざまなタイプのデータを車両データストア１２１から取得し、状況データを生成するために、車両データストア１２１から取得したデータを所定のフォーマットに統合する。

いくつかの実施形態では、状況データは、道路情景画像、道路情景画像と関連付けられた画像データ（例えば、画像タイムスタンプ、画像データサイズなど）、道路情景画像を取り込んでいる画像センサ１１３のセンサ構成（例えば、外部カメラパラメータ、内部カメラパラメータなど）、および道路情景画像と関連付けられた、車両プラットフォーム１０３の地理位置データを含む。道路情景画像と関連付けられた地理位置データは、道路情景画像が取り込まれたときの車両プラットフォーム１０３の車両地理位置（例えば、ＧＰＳ座標）を示し、画像タイムスタンプを使用して取得される。いくつかの実施形態では、状況データは、道路情景画像のＲＯＩにおいて検出された１つまたは複数の状況物体のバウンディングボックスおよび物体信頼度スコアも含む。いくつかの実施形態では、状況データは、予測される状況カテゴリに対応する、ＲＯＩの状況領域およびＲＯＩの状況信頼度スコアを含む。他のタイプの状況データも可能かつ想定される。

いくつかの実施形態では、状況データが状況検出マネージャ２０６によって生成されたときに、状況検出アプリケーション１２０は、状況データを状況位置特定アプリケーション１２２に送信する。いくつかの実施形態では、状況位置特定アプリケーション１２２は、システム１００の処理エンティティ（例えば、サーバ１０１）に含まれ、複数の車両プラットフォーム１０３から状況データを受信する。具体的には、各車両プラットフォーム１０３は、車両プラットフォーム１０３がその車両プラットフォーム１０３の車両経路に沿って走行するときに、道路情景画像を取り込む。車両プラットフォーム１０３に含まれる状況検出アプリケーション１２０は、車両プラットフォーム１０３によって取り込まれた道路情景画像が、上記で議論したように、予測される状況カテゴリ（例えば、状況カテゴリ「工事現場」）によって定義された交通状況を描写しているかどうかを決定する。道路情景画像が交通状況を描写していると決定された場合、状況検出アプリケーション１２０は、車両プラットフォーム１０３の個々の観点からローカルに認識されるように、道路情景画像において描写されている交通状況を記述する状況データを生成し、その状況データを、サーバ１０１に含まれる状況位置特定アプリケーション１２２に送信する。いくつかの実施形態では、状況位置特定アプリケーション１２２は、複数の車両プラットフォーム１０３から受信した状況データをデータストア１２６に記憶する。

いくつかの実施形態では、状況位置特定アプリケーション１２２は、車両プラットフォーム１０３から受信した道路情景画像を使用して、交通状況を位置特定する。具体的には、状況位置特定アプリケーション１２２は、道路情景画像の状況データを使用して、地理的なマップ上で交通状況のカバレッジ領域を決定する。いくつかの実施形態では、状況位置特定アプリケーション１２２は、車両プラットフォーム１０３の画像センサによって取り込まれた道路情景画像、道路情景画像と関連付けられた画像データ、道路情景画像と関連付けられた、車両プラットフォーム１０３の車両地理位置、および道路情景画像を取り込んでいる画像センサ１１３のセンサ構成を抽出するために、各車両プラットフォーム１０３から受信した状況データを処理する。いくつかの実施形態では、状況位置特定アプリケーション１２２は、状況データから、道路情景画像のＲＯＩにおいて検出された１つまたは複数の状況物体の、物体バウンディングボックスおよび物体信頼度スコアも抽出する。いくつかの実施形態では、状況位置特定アプリケーション１２２は、状況データから、予測される状況カテゴリに対応する、ＲＯＩの状況領域およびＲＯＩの状況信頼度スコアも抽出する。

いくつかの実施形態では、状況位置特定アプリケーション１２２は、車両プラットフォーム１０３のなかから、ある地理的領域に位置している１つまたは複数の車両プラットフォーム１０３の状況データに含まれる道路情景画像をクラスタ化する。具体的には、状況位置特定アプリケーション１２２は、データストア１２６内のマップデータベースから、地理的領域（例えば、所定の道路セグメント）を記述しているマップデータを、および車両プラットフォーム１０３の状況データから抽出された車両地理位置（例えば、ＧＰＳ座標）を取得する。状況位置特定アプリケーション１２２は、車両プラットフォーム１０３の車両地理位置を地理的領域にマッピングし、車両プラットフォーム１０３のなかから、同じ地理的領域に位置している１つまたは複数の車両プラットフォーム１０３を決定する。同じ地理的領域に位置している車両プラットフォーム１０３の状況データから抽出された道路情景画像は、１つの画像クラスタにクラスタ化される。結果として、同じ画像クラスタ内の道路情景画像は、地理的領域内の同じ交通状況を描写し得るが、地理的領域内に位置している複数の車両プラットフォーム１０３に対応するさまざまな観点から、およびさまざまなカメラ構成によるものである。いくつかの実施形態では、状況位置特定アプリケーション１２２はまた、状況データから抽出された道路情景画像を、道路情景画像の画像タイムスタンプに基づいてクラスタ化する。結果として、画像クラスタは、同じ地理的領域に位置している車両プラットフォーム１０３の画像センサによって同じ時間窓の範囲内で取り込まれた道路情景画像を含む。

いくつかの実施形態では、状況位置特定アプリケーション１２２は、画像クラスタ内で異なった車両プラットフォーム１０３からの道路情景画像を一致させ得る。一致した道路情景画像は、１つまたは複数の状況物体の１つまたは複数の対応する特徴を有しうる。例えば、状況位置特定アプリケーション１２２は、第１の車両プラットフォーム１０３の第１の画像センサによって取り込まれた第１の画像を、第２の車両プラットフォーム１０３の第２の画像センサによって取り込まれた第２の画像と一致させ得る。第１の画像および第２の画像は、同じ画像クラスタに含まれ、第１の画像を取り込んでいる第１の画像センサは、第２の画像を取り込んでいる第２の画像センタと異なったセンサ構成（例えば、異なった外部カメラパラメータや異なった内部カメラパラメータ）を有しうる。

具体的には、状況位置特定アプリケーション１２２は、第１の画像内の第１の物体バウンディングボックスによって示された第１の状況物体を記述している１つまたは複数の特徴を決定する。いくつかの実施形態では、特徴は、第１の画像内の第１の状況物体の物体外観（例えば、物体目印、境界、構造、形状、サイズなど）を記述している１つまたは複数の第１の画像特徴点を含む。いくつかの実施形態では、状況位置特定アプリケーション１２２は、第１の画像内の第１の画像特徴点と一致する、第２の画像内の第２の画像特徴点を決定する。例えば、状況位置特定アプリケーション１２２は、類似度スコアを生成するために、第１の画像特徴点および第２の画像特徴点（ピクセルカラー、明度値、形状等）のさまざまな側面を比較する。第１の画像特徴点と第２の画像特徴点との間の類似度を示す類似度スコアが、所定の類似度閾値を満たしている場合、状況位置特定アプリケーション１２２は、第２の画像内の第２の画像特徴点が第１の画像内の第１の画像特徴点に対応していると決定し、したがって画像クラスタ内において第２の画像を第１の画像と一致させ得る。いくつかの実施形態では、第１の画像および第２の画像内の対応する特徴は、深層学習アルゴリズムを使用して特定される。

いくつかの実施形態では、第１の画像内の第１の画像特徴点Ｐ_１、および第１の画像特徴点Ｐ_１と一致する、第２の画像内の第２の画像特徴点Ｐ_２は、第１の画像および第２画像それぞれへの、第１の状況物体の同じ物理特徴点Ｐの投影であり得る。いくつかの実施形態では、第１の画像は、第１のセンサ構成を有する、第１の車両プラットフォーム１０３の第１の画像センサによって取り込まれ、第２の画像は、第２のセンサ構成を有する、第２の車両プラットフォーム１０３の第２の画像センサによって取り込まれ得る。したがって、第１の画像特徴点Ｐ_１を含んだ第１の画像は、第１の画像センサの第１のカメラ座標系（Ｘ_１，Ｙ_１，Ｚ_１）と関連付けられ、第２の画像特徴点Ｐ_２を含んだ第２の画像は、第２の画像センサの第２のカメラ座標系（Ｘ_２，Ｙ_２，Ｚ_２）と関連付けられ得る。いくつかの実施形態では、第１の画像センサの第１のカメラ座標系（Ｘ_１，Ｙ_１，Ｚ_１）は、第１の画像が取り込まれるときの第１の画像センサの第１のセンサ位置を示す第１の原点Ｃ_１を有する３次元（３Ｄ）座標系であり得る。いくつかの実施形態では、第１の原点Ｃ_１の地理位置座標（例えば、ＧＰＳ座標）は、第１の画像を取り込むときの第１の車両プラットフォーム１０３の地理位置座標であり得る。同様に、第２の画像センサの第２のカメラ座標系（Ｘ_２，Ｙ_２，Ｚ_２）は、第２の画像が取り込まれるときの第２の画像センサの第２のセンサ位置を示す第２の原点Ｃ_２を有する３次元座標系であり得る。第２の原点Ｃ_２の地理位置座標（例えば、ＧＰＳ座標）は、第２の画像を取り込むときの第２の車両プラットフォーム１０３の地理位置座標であり得る。

いくつかの実施形態では、状況位置特定アプリケーション１２２は、少なくとも１つの一致する画像と関連付けられた、車両プラットフォーム１０３から、ターゲットの車両プラットフォームをランダムに選択し、ターゲットの車両プラットフォームと関連付けられた画像センサのカメラ座標系を、ターゲットのカメラ座標系として使用する。例えば、状況位置特定アプリケーション１２２は、第１の画像と関連付けられた第１の車両プラット
フォーム１０３を、ターゲット車両として選択する。このように、ターゲットのカメラ座標系は、第１の車両プラットフォーム１０３と関連付けられた第１の画像センサの第１のカメラ座標系（Ｘ_１，Ｙ_１，Ｚ_１）であり得る。

いくつかの実施形態では、状況位置特定アプリケーション１２２は、第１の画像特徴点Ｐ_１の座標や第２の画像特徴点Ｐ_２の座標を、同じカメラ座標系、例えばターゲットのカメラ座標系（Ｘ_１，Ｙ_１，Ｚ_１）に変換するために、座標変換を実行する。いくつかの実施形態では、状況位置特定アプリケーション１２２によって実行される座標変換は、画像の画像座標系における画像特徴点の２Ｄ画像座標を、画像を取り込んでいる対応する画像センサのカメラ座標系における画像特徴点の３Ｄカメラ座標へ変換することを含む。カメラ座標プロセッサ２０６によって実行される座標変換は、対応する画像センサのカメラ座標系における画像特徴点の３Ｄカメラ座標を、ターゲットのカメラ座標系における画像特徴点の３Ｄカメラ座標へ変換することも含む。いくつかの実施形態では、これらの座標変換は、第１の画像センサおよび第２の画像センサのセンサ構成（例えば、外部カメラパラメータおよび内部カメラパラメータ）を使用して実行する。

座標変換の結果として、第１の画像特徴点Ｐ_１、第２の画像特徴点Ｐ_２、第１の原点Ｃ_１、および第２の原点Ｃ_２は、同じカメラ座標系（Ｘ_１，Ｙ_１，Ｚ_１）と関連付けられる。いくつかの実施形態では、状況位置特定アプリケーション１２２は、第１の画像特徴点Ｐ_１および第２の画像特徴点Ｐ_２に基づいて、ターゲットのカメラ座標系（Ｘ_１，Ｙ_１，Ｚ_１）における物理特徴点Ｐの３Ｄカメラ座標を決定する。それに応じて、物理特徴点Ｐ、第１の原点Ｃ_１、および第２の原点Ｃ_２は、同じターゲットのカメラ座標系（例えば、第１のカメラ座標系（Ｘ_１，Ｙ_１，Ｚ_１））と関連付けられ、第１のカメラ座標系（Ｘ_１，Ｙ_１，Ｚ_１）におけるそれらの３Ｄカメラ座標が決定される。したがって、物理特徴点Ｐ、第１の原点Ｃ_１、および第２の原点Ｃ_２は、第１のカメラ座標系（Ｘ_１，Ｙ_１，Ｚ_１）におけるそれらの３Ｄカメラ座標に基づいて三角形を形成する。このように、状況位置特定アプリケーション１２２は、第１の原点Ｃ_１の地理位置座標および第２の原点Ｃ_２の地理位置座標に基づいて、三角測量演算を用いて、物理特徴点Ｐの地理位置座標（例えば、ＧＰＳ座標）を計算する。

いくつかの実施形態では、状況位置特定アプリケーション１２２は、第１の関連する状況物体の物理特徴点Ｐを、物理特徴点Ｐの地理位置座標（例えば、ＧＰＳ座標）を使用して地理的マップ上で位置付けする。第１の状況物体の複数の特徴点が地理的マップ上に配置されるので、第１の状況物体は、その正確な地理的位置で地理的マップ上に投影される。いくつかの実施形態では、状況位置特定アプリケーション１２２は、状況物体の地理位置座標に基づいて、交通状況のカバレッジ領域を決定する。例えば、状況地理位置計算器２０８は、地理的マップ上で状況物体を含む凸状の地域を、交通状況のカバレッジ領域であると決定する。交通状況のカバレッジ領域は、交通状況の地理的位置、交通状況の幾何学的境界（例えば、幾何学的形状、占有された車線）、状況コンポーネント（例えば、交通状況に存在している状況物体）、これらの状況物体の分布、などを示す。

いくつかの実施形態では、ナビゲーションアプリケーション１２４は、経路計画を実行するために、状況位置特定アプリケーション１２２によって計算された、交通状況のカバレッジ領域を使用する。例えば、ナビゲーションアプリケーション１２４は、道路を占有している交通状況のカバレッジ領域を回避するために車線変更操作をする、ナビゲーションに関する提案を、自身のユーザに提供する。いくつかの実施形態では、状況位置特定アプリケーション１２２は、交通状況をモニタし、地理的マップにおいて交通状況を表すカバレッジ領域を、交通状況が時間とともに動的に変化するにつれて更新する。いくつかの実施形態では、状況位置特定アプリケーション１２２は、さまざまな道路セグメント上で発生した複数の交通状況およびそれらの時間的な展開状況（カバレッジ領域の開始、終了
、拡大、縮小など）を記述している動的交通状況マップを生成および維持する。いくつかの実施形態では、状況位置特定アプリケーション１２２は、動的交通状況マップをデータストア１２６に記憶する。いくつかの実施形態では、各車両プラットフォーム１０３に含まれるナビゲーションアプリケーション１２４は、データストア１２６から動的交通状況マップを取得し、さまざま道路セグメントで発生した１つまたは複数の交通状況のカバレッジ領域を求めるために動的交通状況マップを処理し、それに応じて車両プラットフォーム１０３が自身の目的地へ到着するための最適な車両経路を計算する。

いくつかの実施形態では、交通状況のカバレッジ領域が第１のカバレッジ領域から第２のカバレッジ領域に変化するとき、状況位置特定アプリケーション１２２は、交通状況の第２のカバレッジ領域を含む状況更新の通知をナビゲーションアプリケーション１２４に提供する。いくつかの実施形態では、状況更新の通知は、交通状況に対して現在最も近い車両プラットフォーム１０３（例えば、交通状況の地理位置から半径２マイル範囲内を走行している車両プラットフォーム１０３）に含まれるナビゲーションアプリケーション１２４に送信される。いくつかの実施形態では、最も近い車両プラットフォーム１０３に含まれるナビゲーションアプリケーション１２４は、現在の車両経路を、交通状況の第２のカバレッジ領域に適応させるために経路再計算を自動的に実行する。いくつかの実施形態では、ナビゲーションアプリケーション１２４は、交通状況の第２のカバレッジ領域に対応する通知、アラート、ナビゲーションガイダンス、記述情報などを生成もし、最も近い車両プラットフォーム１０３の１つまたは複数の出力デバイスを介してドライバに対して表示もする。例えば、ナビゲーションアプリケーション１２４は、交通状況の第１のカバレッジ領域および第２のカバレッジ領域を区別して表している動的グラフィカルマップを、交通状況を迂回するための複数の経路選択肢と共にタッチスクリーン上に表示する。ドライバが、複数の経路選択肢から１つの経路選択肢を選択するためにユーザ入力を提供（例えば、音声コマンドを発する、タッチスクリーンと対話する、など）したとき、ナビゲーションアプリケーション１２４は、ドライバが、交通状況が占有している道路セグメントに従ってそこを通って進むために、選択された経路選択肢に対応するナビゲーションガイダンスを提供する。

以上の説明では、本発明を十分に理解できるように、多くの詳細について説明した。しかしながら、各実施形態はこれらの具体的な詳細無しでも実施できることは当業者にとって明らかであろう。また、説明が不明瞭になることを避けるために、構造や装置をブロック図の形式で表すこともある。たとえば、一実施形態は、ユーザインタフェースおよび特定のハードウェアとともに説明される。しかし、本実施形態は、データおよびコマンドを受信する任意のタイプのコンピュータシステム、および、サービスを提供する任意の周辺機器について適用できる。

以上の詳細な説明の一部は、非一時的（non-transitory）なコンピュータ可読記憶媒体に記憶されたデータビットに対する動作のアルゴリズムおよび記号的表現として提供される。これらのアルゴリズム的な説明および表現は、データ処理技術分野の当業者によって、他の当業者に対して自らの成果の本質を最も効果的に説明するために用いられるものである。なお、本明細書において（また一般に）アルゴリズムとは、所望の結果を得るための論理的な手順を意味する。処理のステップは、物理量を物理的に操作するものである。必ずしも必須ではないが、通常は、これらの量は記憶・伝送・結合・比較およびその他の処理が可能な電気的または磁気的信号の形式を取る。通例にしたがって、これらの信号をビット・値・要素・エレメント・シンボル・キャラクタ・項・数値などとして称することが簡便である。

なお、これらの用語および類似する用語はいずれも、適切な物理量と関連付いているものであり、これら物理量に対する簡易的なラベルに過ぎないということに留意する必要が
ある。以下の説明から明らかなように、特に断らない限りは、本明細書において「処理」「計算」「コンピュータ計算（処理）」「判断」「表示」等の用語を用いた説明は、コンピュータシステムや類似の電子的計算装置の動作および処理であって、コンピュータシステムのレジスタやメモリ内の物理的（電子的）量を、他のメモリやレジスタまたは同様の情報ストレージや通信装置、表示装置内の物理量として表される他のデータへ操作および変形する動作および処理を意味する。

本発明は、本明細書で説明される動作を実行する装置にも関する。この装置は要求される目的のために特別に製造されるものであっても良いし、汎用コンピュータを用いて構成しコンピュータ内に格納されるプログラムによって選択的に実行されたり再構成されたりするものであっても良い。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な、例えばフロッピー（登録商標）ディスク・光ディスク・ＣＤ−ＲＯＭ・磁気ディスクなど任意のタイプのディスク、読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気または光学式カード、ＵＳＢキーを含む不揮発性フラッシュメモリ、電子的命令を格納するために適した任意のタイプの媒体などの、非一時的なコンピュータ可読記憶媒体に記憶される。

発明の具体的な実施形態は、完全にハードウェアによって実現されるものでも良いし、完全にソフトウェアによって実現されるものでも良いし、ハードウェアとソフトウェアの両方によって実現されるものでも良い。好ましい実施形態は、ソフトウェアによって実現される。ここでソフトウェアとは、ファームウェア、常駐ソフトウェア、マイクロコードやその他のソフトウェアを含むものである。
さらに、ある実施形態は、コンピュータが利用あるいは読み込み可能な記憶媒体からアクセス可能なコンピュータプログラムプロダクトの形態を取る。この記憶媒体は、コンピュータや任意の命令実行システムによってあるいはそれらと共に利用されるプログラムコードを提供する。コンピュータが利用あるいは読み込み可能な記憶媒体とは、命令実行システムや装置によってあるいはそれらと共に利用されるプログラムを、保持、格納、通信、伝搬および転送可能な任意の装置を指す。

プログラムコードを格納・実行するために適したデータ処理システムは、システムバスを介して記憶素子に直接または間接的に接続された少なくとも１つのプロセッサを有する。記憶素子は、プログラムコードの実際の実行に際して使われるローカルメモリや、大容量記憶装置や、実行中に大容量記憶装置からデータを取得する回数を減らすためにいくつかのプログラムコードを一時的に記憶するキャッシュメモリなどを含む。入力／出力（Ｉ／Ｏ）装置は、例えばキーボード、ディスプレイ、ポインティング装置などであるが、これらはＩ／Ｏコントローラを介して直接あるいは間接的にシステムに接続される。

データ処理システムが、介在するプライベートネットワークおよび／またはパブリックネットワークを介して、他のデータ処理システム、ストレージデバイス、リモートプリンタなどに結合されるようになることを可能にするために、ネットワークアダプタもシステムに結合されうる。ワイヤレス（たとえば、Ｗｉ−Ｆｉ（登録商標））トランシーバ、イーサネット（登録商標）アダプタ、およびモデムは、ネットワークアダプタのほんの数例に過ぎない。プライベートネットワークおよびパブリックネットワークは、任意の数の構成および／またはトポロジを有しうる。データは、たとえば、様々なインターネットレイヤ、トランスポートレイヤ、またはアプリケーションレイヤのプロトコルを含む、様々な異なる通信プロトコルを使用して、ネットワークを介してこれらのデバイス間で送信されうる。たとえば、データは、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、伝送制御プロトコル（ＴＣＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、セキュアハイパーテキスト転送プロトコル（ＨＴＴＰＳ）、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）、リアルタイム
ストリーミングプロトコル（ＲＴＳＰ）、リアルタイムトランスポートプロトコル（ＲＴＰ）およびリアルタイムトランスポート制御プロトコル（ＲＴＣＰ）、ボイスオーバーインターネットプロトコル（ＶＯＩＰ）、ファイル転送プロトコル（ＦＴＰ）、ウェブソケット（ＷＳ）、ワイヤレスアクセスプロトコル（ＷＡＰ）、様々なメッセージングプロトコル（ＳＭＳ、ＭＭＳ、ＸＭＳ、ＩＭＡＰ、ＳＭＴＰ、ＰＯＰ、ＷｅｂＤＡＶなど）、または他の既知のプロトコルを使用して、ネットワークを介して送信されうる。

最後に、本明細書において提示されるアルゴリズムおよび表示は特定のコンピュータや他の装置と本来的に関連するものではない。本明細書における説明にしたがったプログラムを有する種々の汎用システムを用いることができるし、また要求された処理ステップを実行するための特定用途の装置を製作することが適した場合もある。これら種々のシステムに要求される構成は、以上の説明において明らかにされる。さらに、本発明は、特定のプログラミング言語と関連づけられるものではない。本明細書で説明される本発明の内容を実装するために種々のプログラミング言語を利用できることは明らかであろう。

実施形態の前述の説明は、例示と説明を目的として行われたものである。したがって、開示された実施形態が本発明の全てではないし、本発明を上記の実施形態に限定するものでもない。本発明は、上記の開示にしたがって、種々の変形が可能である。本発明の範囲は上述の実施形態に限定解釈されるべきではなく、特許請求の範囲にしたがって解釈されるべきである。本発明の技術に詳しい者であれば、本発明はその思想や本質的特徴から離れることなくその他の種々の形態で実現できることを理解できるであろう。同様に、モジュール・処理・特徴・属性・方法およびその他の本発明の態様に関する名前付けや分割方法は必須なものでものないし重要でもない。また、本発明やその特徴を実装する機構は異なる名前や分割方法や構成を備えていても構わない。

さらに、モジュール・処理・特徴・属性・方法およびその他の本発明の態様は、ソフトウェア、ハードウェア、ファームウェアもしくはこれらの組合せとして実装できる。また、本発明をソフトウェアとして実装する場合には、モジュールなどの各要素は、どのような様式で実装されても良い。例えば、スタンドアローンのプログラム、大きなプログラムの一部、異なる複数のプログラム、静的あるいは動的なリンクライブラリー、カーネルローダブルモジュール、デバイスドライバー、その他コンピュータプログラミングの当業者にとって既知な方式として実装することができる。さらに、本発明の実装は特定のプログラミング言語に限定されるものではないし、特定のオペレーティングシステムや環境に限定されるものでもない。

１０１ サーバ
１０３ 車両プラットフォーム
１０５ ネットワーク
１１３ 画像センサ
１１５ プロセッサ
１１７ メモリ
１１９ 通信ユニット
１２０ 状況検出アプリケーション、コンポーネント
１２１ 車両データストア
１２２ 状況位置特定アプリケーション
１２４ ナビゲーションアプリケーション
１２６ データストア

Claims (9)

1. 道路を含む画像から、所定の物体種別に対応する状況物体を検出し、前記物体種別に対応するテンプレートとの間の類似度に基づいて、前記状況物体に対する物体信頼度スコアを生成する物体検出器を含むコンピュータによって実行される方法であって、
   複数の前記物体検出器によって、前記画像に含まれる複数の状況物体に対して、物体種別と、前記物体種別の確からしさを表す物体信頼度スコアをそれぞれ生成する生成ステップと、
   各々が前記状況物体に対応する物体種別の集合に基づいて、前記画像中において発生しているイベントのカテゴリを予測する予測ステップと、
   複数の前記物体信頼度スコアを統合して、前記イベントのカテゴリに対応する状況信頼度スコアを生成する統合ステップと、
   前記状況信頼度スコアに基づいて、前記予測した状況カテゴリに対応するイベントが前記画像中において発生しているか否かを評価する評価ステップと、
   を含む方法。
2. 前記イベントのカテゴリごとに、当該イベントに含まれる物体種別ごとの重みを定義したイベントデータを取得する取得ステップをさらに含み、
   前記統合ステップでは、複数の前記物体信頼度スコアに、前記物体種別に対応する前記重みをそれぞれ乗算することで前記状況信頼度スコアを生成する、
   請求項１に記載の方法。
3. 前記予測ステップでは、複数の異なる物体種別と状況カテゴリとを関連付けたカテゴリデータを参照して、前記画像中において発生しているイベントのカテゴリを予測する、
   請求項１または２に記載の方法。
4. 前記生成ステップで利用される複数の物体検出器は、それぞれ異なる状況物体をターゲットとして設定されたものである、
   請求項１から３のいずれかに記載の方法。
5. 前記テンプレートは、第一のテンプレートと、前記第一のテンプレートよりも粒度の高い第二のテンプレートを含み、
   前記物体検出器は、前記状況物体と前記第一のテンプレートとの類似度が所定値以上である場合にのみ、前記第二のテンプレートを利用した前記物体信頼度スコアの算出を行う、
   請求項１から４のいずれかに記載の方法。
6. 前記予測ステップでは、前記画像中において発生しているイベントのカテゴリを複数個予測し、
   前記評価ステップでは、前記カテゴリにそれぞれ対応する複数の前記状況信頼度スコアに基づいて、前記画像中において発生しているイベントのカテゴリを絞り込む、
   請求項１から５のいずれかに記載の方法。
7. 複数の前記状況物体に外接する複数の枠を決定し、前記複数の枠を統合して、前記イベントに対応する領域を生成するステップをさらに含む、
   請求項１から６のいずれかに記載の方法。
8. 所定のイベントが含まれる学習画像を取得するステップと、
   前記学習画像から得られる出力と、所定の目標出力との比較に基づいて、前記物体種別ごとの重みを調整するステップと、をさらに含む、
   請求項２に記載の方法。
9. 道路を含む画像から、所定の物体種別に対応する状況物体を検出し、前記物体種別に対応するテンプレートとの間の類似度に基づいて、前記状況物体に対する物体信頼度スコアを生成する物体検出手段と、
   複数の前記物体検出手段によって、前記画像に含まれる複数の状況物体に対して、物体種別と、前記物体種別の確からしさを表す物体信頼度スコアをそれぞれ生成し、
   各々が前記状況物体に対応する物体種別の集合に基づいて、前記画像中において発生しているイベントのカテゴリを予測し、
   複数の前記物体信頼度スコアを統合して、前記イベントのカテゴリに対応する状況信頼度スコアを生成し、
   前記状況信頼度スコアに基づいて、前記予測した状況カテゴリに対応するイベントが前記画像中において発生しているか否かを評価する制御手段と、
   を含むシステム。

Images