JP6807968B2 - Ｃｎｎモデルを用いる物体検出方法及び同様のそれを用いる物体検出装置 - Google Patents

Description

本開示は、畳み込みニューラルネットワーク（ＣＮＮ、convolutional neural network）を用いる物体検出方法及び同方法を用いる物体検出装置に関する。

近年においては自律走行車両の開発が重要な研究開発プロジェクトとなっており、検出又はセンシング装置が特に重要となっている。検出装置については次のことをなすことによって改良することができる：より信頼性のあるセンシングデータを提供すること、及び特定のタイプの環境内での車体周辺に関するより正確な情報を提供すること。検出装置は、車体の周囲についてのセンサ測定値に基づいて高精度情報を作成することもできる。検出装置の構築において、物体検出が必須的な技術の１つとなる。車体に搭載された高解像度カメラによって撮像された画像に基づいて、車両の前方に見られる物体の位置及びタイプを識別することによって、そしてまた、コンピュータビジョン及びディープラーニング等の技術をも組み合わせることによって、物体を回避すべきか制動するべきかを決定することに関して車両が正確な決定をなすことができる。意思決定は、自己の目を通じての観測に基づいた戦略を採用する人工知能のそれに似ていることができる。

もっとも、様々な物体検出法はディープラーニング方法に依拠することができる。ディープラーニングとは、学習モデルを変更するために訓練用データを用いることについての汎用的な用語である。ディープラーニングにおいては、学習モデルに関して訓練及び近似をなすために大量のコンピューティング資源を要し得る。検出装置が物体検出を行う場合、訓練済みモデルは順伝播計算のために用いられることになる。訓練段階及び予測段階の双方において計算量が相当なものとなり得る。高演算能力を有するハードウェア装置なくしては、そのような試みはほぼ無理となろう。なぜならば、単位時間当たりに処理されるべき画像個数が比較的に大きいからである。したがって、物体検出についてのアルゴリズムレベルでの継続的最適化がこの時点で必要となる。

物体検出アルゴリズムは、ある人が運転している際にセンシング範囲内にある任意の物体をセンシングすることを支援でき、また、アルゴリズムは経路早期計画機能をもたらす他のシステムを提供することもできる。卓越した検出装置がこの要請を充足するためには、少なくとも次の３つの重要な特性を具備することを要する：高ボリューム特性（即ち、識別可能物体の個数）；正確性（即ち、物体のタイプ及び物体の位置について正しく識別すること）及び；迅速性（即ち、瞬発的な演算レートを達成するために要する応答性）。上述の特性を充足するには、既存のディープラーニングモデルに対して改良及び変更を施すことを要する。

表１は既存のディープラーニングモデルにおける３種類の物体検出モデル間での諸特性の比較を示す。

表１は性能及び計算量的複雑度を検出するために物体検出が有することを必要とされる条件を示す。なぜならば、物体検出における高性能化はより高度な計算量的複雑度をもたらすからである。ここで、ダブルステップＤＬ物体検出モデルが最高の検出精度を有しているが、典型的には最大の計算量的コストを要する。詳述するに、ダブルステップＤＬ物体検出は単一ステップＤＬ物体検出と似た畳み込み層を採用するのであり、ダブルステップＤＬ法はそれらの畳み込み層の後に領域提案ネットワーク（ＲＰＮ、region proposal network）を活用して提供されたフィーチャマップから興味対象領域（ＲＯＩ、region of interest）を提案する点で異なる。図１は、最後の畳み込み層からの既抽出フィーチャマップに基づいてのＲＰＮからの提案された興味対象領域を示す。さらに詳述するに、プロセッサは、ＲＰＮを用いてダブルステップＤＬ物体検出モデルにおける何らかのＲＯＩを提案することによって、提供されたフィーチャマップについてのセット（即ち、図１に示された入力フレーム）を処理することになるのであり、フィーチャマップは複数の不使用フィーチャ（即ち、不使用フィーチャ（ＵＮＵ、unused feature））を含む。複数の不使用フィーチャＵＮＵは一定量の計算量的コストを要するのであり、複数の不使用フィーチャＵＮＵは何らの検出結果に寄与しない故に非効率的に費やされることになる。

換言するに、ダブルステップＤＬ物体検出モデルにおけるＲＰＮは、検出フレームワークの効率性を減じる２つの短所を有している。第１に、ＲＰＮは、提供されたフィーチャマップをＲＯＩ提案との関係で任意の潜在的候補に関して分析する故に、何らのＲＯＩ提案に寄与しない複数の不使用フィーチャＵＮＵが存し得るのであり、されどこれらの不使用フィーチャＵＮＵがＲＰＮによって演算されるためには一定量の計算量的コストを要することになる。第１のフィーチャは不必要な計算部分であり（即ち、複数の不使用フィーチャ）、ＲＯＩが生じない領域においてなされるオペレーションによって計算量的な無駄が生じる。第２に、ダブルステップＤＬ物体検出におけるＲＰＮ現在位置によってロバストな検出性能が実現されるも、それが非効率な学習及び推測をもたらし得る。代替的には、畳み込み層の前にＲＯＩ提案を設けて、ネットワーク規模及びそれに関する計算量的負荷を相当程度減じることができる。

景技術の項目で先述したように、ダブルステップＤＬ物体検出モデルにおけるＲＰＮは、検出フレームワーク効率性を減じる２つの短所を有している：第１には、不使用フィーチャＵＮＵは取るに足らないフィーチャであり、ＲＯＩが生じない領域におけるオペレーションによって計算量的な無駄がもたらされる；また、第２に、非効率な学習及び推測をそれがもたらし得る。したがって、瞬間的な演算速度を向上させ、また不要な計算のデータの量を減じるためには、ＣＮＮモデルを用いる物体検出モデル及び同方法を用いる物体検出装置を提案することが必要である。

したがって、上述の問題を解決するために、本開示は、ＣＮＮモデルを用いる物体検出モデル及び同方法を用いる物体検出装置を開示する。

例示的実施形態の１つによれば、本願開示は、ＣＮＮモデルを用いる物体検出方法であって次のステップを非限定的に含む方法を対象としている：センサを用いることによってセンサデータを生成するステップ；第１の物体検出アルゴリズムを用いることによってセンサデータを処理して第１の物体検出結果を生成するステップであって、第１の物体検出結果は境界ボックス情報を含む、ステップ；境界ボックス情報に従ってスパース更新マッピングアルゴリズムの複数の段階を用いることによって第１の物体検出結果を処理してＣＮＮモデルにおける更新された第１の物体検出結果の複数の段階を生成するステップ；空間プーリングアルゴリズムの複数の段階を用いることによって更新された第１の物体検出結果の幾つかの段階の第１の段階を処理してスパース更新マッピングアルゴリズムの各段階間で更新された第１の物体検出結果の段階の空間的寸法を減じるステップ；ディープ畳み込み層アルゴリズムの複数の段階を実行してＣＮＮモデルにおける更新された第１の物体検出結果の段階に基づいて複数のフィーチャ結果を対応するように抽出するステップ；ディープ畳み込み層アルゴリズムの幾つかの段階の最後の段階によって生成された最後段階フィーチャ結果に基づいて検出予測を行うステップ。

例示的実施形態の１つによれば、本開示は次の要素を非限定的に含む物体検出装置を対象としている：センサデータを生成するセンサ、及び、センサに接続されたプロセッサであって該プロセッサは少なくとも：第１の物体検出アルゴリズムを用いることによってセンサデータを処理して第１の物体検出結果を生成するステップであって、第１の物体検出結果は境界ボックス情報を含む、ステップと；境界ボックス情報に従ってスパース更新マッピングアルゴリズムの複数の段階を用いることによって第１の物体検出結果を処理してＣＮＮモデルにおける更新された第１の物体検出結果の複数の段階を生成するステップと；空間プーリングアルゴリズムの複数の段階を用いることによって更新された第１の物体検出結果の幾つかの段階の第１の段階を処理してスパース更新マッピングアルゴリズムの各段階間で更新された第１の物体検出結果の段階の空間的寸法を減じるステップと；ディープ畳み込み層アルゴリズムの複数の段階を実行してＣＮＮモデルにおける更新された第１の物体検出結果の段階に基づいて複数のフィーチャ結果を対応するように抽出するステップと；ディープ畳み込み層アルゴリズムの幾つかの段階の最後の段階によって生成された最後段階フィーチャ結果に基づいて検出予測を行うステップとを行うように構成されている、プロセッサ。

本発明の効果は次のものを含み得る：提供された第１の物体検出アルゴリズムを用いることによってＲＯＩに従って境界ボックス情報を見つけること；提供されたスパース更新マッピングアルゴリズムを用いることによって更新された第１の物体検出結果の不要な計算領域を除くこと；空間プーリングアルゴリズムについての複数の段階及びディープ畳み込み層アルゴリズムについての複数の段階を提供して検出予測を行うこと。このようにして、瞬間的な演算速度を向上させ得る。

添付の図面は本開示についての理解を促進するために付加されているのであり、この明細書に組み込まれその一部をなす。図面は本開示の実施形態について例示するのであり、明細書と合わさって本開示の諸原理について説明する役割を果たす。

抽出されたフィーチャマップに基づいたＲＰＮからの提案された興味対象領域を示す図である。 本開示の１つの例示的実施形態による物体検出装置についてのハードウェアブロック図である。 本開示の１つの例示的実施形態による物体検出装置を用いる自律車両を示す概略図である。 本開示の１つの例示的実施形態による物体検出方法の諸ステップを示す流れ図である。 本開示の１つの例示的実施形態による物体検出フレームワークについての詳細なブロック図である。 本開示の１つの例示的実施形態による第１の物体検出アルゴリズムについて示す図である。 本開示の１つの例示的実施形態によるスパース更新マッピングアルゴリズムの複数の段階の各々について示す図である。 本開示の１つの例示的実施形態によるディープ畳み込み層アルゴリズムの複数の段階の各々について示す図である。 本開示の１つの例示的実施形態によるディープ畳み込み層アルゴリズムの複数の段階の各々について示す図である。 本開示の１つの例示的実施形態によるディープ畳み込み層アルゴリズムの複数の段階の各々について示す図である。 本開示の１つの例示的実施形態によるディープ畳み込み層アルゴリズムの複数の段階の各々について示す図である。 本開示の１つの例示的実施形態によるディープ畳み込み層アルゴリズムの複数の段階の各々について示す図である。 本開示の１つの例示的実施形態によるディープ畳み込み層アルゴリズムの複数の段階の各々について示す図である。 本開示の１つの例示的実施形態による空間プーリングアルゴリズムの複数の段階の各々について示す図である。 本開示の１つの例示的実施形態による物体検出方法についての別の実装例を示す概略図である。

本開示の例示的実施形態の詳細への言及が以下なされるのであり、例は添付の図面に示されている。可能である場合には、同じ又は同様の部分を参照するために同じ参照符号が図面及び詳細な説明にて使用される。

本開示は、自律車両の指定された視野（ＦＯＶ、field of view）中の差し迫った物体を検出するための自律車両用のフレームワークを提供するのであり、該フレームワークは、物体検出装置、物体検出装置を用いる自律車両、及び物体検出方法の観点から説明される。装置は自律車両内に設置され得るのでありそれは何らの人間による介入を受けずに自動的に動作することとなるのであり、よって、車両の指定されたＦＯＶ内の物体を検出して道路状態についての計算及び決定をなすことが最重要となり得るのである。装置は、次のものを非限定的に含み得る：重複するＦＯＶを有する異なるセンシング装置についての複数のセットであって例えば周囲から２次元（２Ｄ）ＲＧＢデータを取得するための１つ以上の画像センサを有する撮像装置のセット；各センサについて第１の物体検出アルゴリズムと、スパース更新マッピングアルゴリズムについての複数の段階と、空間プーリングアルゴリズムについての複数の段階と、ディープ畳み込み層アルゴリズムについての複数の段階とを少なくとも実行してフィーチャ結果を生成して検出予測をなすように構成されている処理装置。提供されるフレームワークによって、フィーチャ結果を抽出して検出予測をなして瞬間的な演算速度を向上させるとともに不要なデータ量を減じることができる。図２〜図９は、さらなる詳細と共に提供される物体検出フレームワークについて説明する。

図２は、本開示の１つの例示的実施形態による物体検出装置についてのハードウェアブロック図を示す。非限定的に述べるに、物体検出装置２００は、センサ２１０とプロセッサ２２０とを含み得る。センサ２１０は、指定されたＦＯＶ内の可視光を捉えて２Ｄ画像にするＲＧＢ画像センサ（image sensor）等の撮像センサ（imaging sensor）たり得る。プロセッサ２２０は少なくとも次のことをなすように構成されていることができる：第１の物体検出アルゴリズムを用いてセンサデータを処理して第１の物体検出結果を生成するステップであって第１の物体検出結果は境界ボックス情報を含むステップ。

そして、プロセッサ２２０は、次のことをなすように構成されていることができる：境界ボックス情報に基づいてスパース更新マッピングアルゴリズムについての複数の段階を用いることによって第１の物体検出結果を処理して、ＣＮＮモデル内において更新された第１の物体検出結果についての複数の段階を生成するステップ。その後、プロセッサ２２０は次のことをなすように構成されていることができる：空間プーリングアルゴリズムの複数の段階を用いることによって更新された第１の物体検出結果の幾つかの段階の第１の段階を処理してスパース更新マッピングアルゴリズムの各段階間で更新された第１の物体検出結果の段階の空間的寸法を減じるステップ。

そして、プロセッサ２２０は次のことをなすように構成されていることができる：ディープ畳み込み層アルゴリズムの複数の段階を実行してＣＮＮモデルにおける更新された第１の物体検出結果の段階に基づいて複数のフィーチャ結果を対応するように抽出するステップ。最後に、プロセッサ２２０は次のことをなすように構成されていることができる：ディープ畳み込み層アルゴリズムの幾つかの段階の最後の段階によって生成された最後段階フィーチャ結果に基づいて検出予測を行うステップ。このようにして、本開示は瞬間的な演算速度を向上させまた不要な計算データ量を減じるのであり、これを第１の物体検出アルゴリズムと複数のスパース更新マッピングアルゴリズムと複数の空間プーリングアルゴリズムとディープ畳み込み層アルゴリズムの複数の段階とによってなすのであり、ＣＮＮがロバストなデータセットを用いて適切にトレーニングされたが故に識別可能な物体の個数は増大するであろう。

他の実施形態では、物体検出装置２００は複数の２Ｄ撮像センサを含み得るのであり、プロセッサ２２０は複数のセンサデータを処理するのに用い得るのであり、当業者であれば実際の局面及び要求に従ってセンサ２１０の個数を適応的に調節できよう。

図３は、本開示の例示的実施形態の１つによる物体検出装置を用いる自律車両を示す。非限定的に述べるに、自律車両３００は図２の物体検出装置２００を含み得る。

図４は、本開示の例示的実施形態の１つによる物体検出方法の諸ステップを示す流れ図である。ステップＳ４１０では、物体検出装置は、センサによってセンサデータを生成する。ステップＳ４２０では、物体検出装置は、第１の物体検出アルゴリズムを用いることによってセンサデータを処理して第１の物体検出結果を生成するのであって、第１の物体検出結果は境界ボックス情報を含む。

ステップＳ４３０では、物体検出装置は、境界ボックス情報に従ってスパース更新マッピングアルゴリズムの複数の段階を用いることによって第１の物体検出結果を処理してＣＮＮモデルにおける更新された第１の物体検出結果の複数の段階を生成する。ステップＳ４４０では、物体検出装置は、空間プーリングアルゴリズムの複数の段階を用いることによって更新された第１の物体検出結果の幾つかの段階の第１の段階を処理してスパース更新マッピングアルゴリズムの各段階間で更新された第１の物体検出結果の段階の空間的寸法を減じる。ステップＳ４５０では、物体検出装置は、ディープ畳み込み層アルゴリズムの複数の段階を実行してＣＮＮモデルにおける更新された第１の物体検出結果の段階に基づいて複数のフィーチャ結果を対応するように抽出する。最後に、ステップＳ４６０では、物体検出装置は、ディープ畳み込み層アルゴリズムの幾つかの段階の最後の段階によって生成された最後段階フィーチャ結果に基づいて検出予測を行う。

図５乃至図９では、幾つかの例示的実施形態及び例を用いて、開示される物体検出フレームワークについて説明する。図５は、本開示の例示的実施形態の１つによる物体検出フレームワークについての詳細なブロック図である。この実施形態では、複数タイプのセンシング装置にはセンサ（例えば、ＲＧＢカメラアレイ５０１ａ）が含まれ得る。ＲＧＢカメラアレイ５０１ａは自律車両付近の画像を撮像して適当にセンサデータ（例えば、第ｔ番目のＲＧＢ画像データ５０１）を生成するのであり、第ｔ番目にいうｔとはフレーム指数を意味する。換言すれば、ＲＧＢカメラアレイ５０１ａは複数の時点における複数のフレームをキャプチャできるのであり、第ｔ番目のＲＧＢ画像データ５０１は時点ｔにおいてキャプチャされたフレームである。ＲＧＢカメラアレイ５０１ａに接続されたプロセッサがあり、該プロセッサは少なくとも第ｔ番目のＲＧＢ画像データ５０１を処理するように構成されている。まず、プロセッサは、第１の物体検出アルゴリズム（例えば、図５に示したＣＶベースドなＲＯＩステップたるＳ５１０）を用いることによってセンサデータ（即ち、第ｔ番目のＲＧＢ画像データ５０１）を処理して第１の物体検出結果（即ち、第ｔ番目の検出されたＲＧＢ画像データ５０２）を生成するのであって、第ｔ番目の検出されたＲＧＢ画像データ５０２は境界ボックス情報を含む。そして、プロセッサは、第１の物体検出結果（即ち、第ｔ番目の検出されたＲＧＢ画像データ５０２）とセンサデータ（即ち、第ｔ番目のＲＧＢ画像データ５０１）とをＣＮＮモデル内にて処理するのであり、ＣＮＮモデルは例えばS. Ren et al., “Faster R-CNN: Towards Real-time Object Detection with Region Proposal Networks,” CoRR, vol. abs/1506.01497, 2016で教示された高速Ｒ−ＣＮＮアルゴリズムとすることができる。

詳細な説明では、プロセッサはその後、境界ボックス情報に従ってスパース更新マッピング（ＳＵＭ、sparse update mapping）アルゴリズム（即ち、ＳＵＭアルゴリズムステップＳ５２０、Ｓ５２１、Ｓ５２２）の複数の段階を用いることによって第１の物体検出結果を処理して更新された第１の物体検出結果の複数の段階を生成するのであり、プロセッサは、空間プーリング（spatial pooling）アルゴリズム（即ち、空間プーリングアルゴリズムステップＳ５６０、Ｓ５６１）の複数の段階を用いることによって更新された第１の物体検出結果の幾つかの段階の第１の段階を処理してスパース更新マッピングアルゴリズムの各段階間で更新された第１の物体検出結果の段階の第１の段階の空間的寸法を減じる。プロセッサは、ディープ畳み込み層（deep convolution layer）アルゴリズム（即ち、ディープ畳み込み層アルゴリズムステップＳ５３０、Ｓ５４０、Ｓ５５０）の複数の段階を実行して更新された第１の物体検出結果の段階に基づいて複数のフィーチャ結果（即ち、第ｔ番目のフィーチャマップ１ ５３３、第ｔ番目のフィーチャマップ２ ５４３、第ｔ番目のフィーチャマップｋ ５５３）を対応するように抽出するのであり、ディープ畳み込み層アルゴリズムの各段階は畳み込み（convolution）アルゴリズム（即ち、畳み込みアルゴリズムステップＳ５３１、Ｓ５４１、Ｓ５５１）を含む。その後、プロセッサは、興味対象領域（ＲＯＩ、region of interest）プーリングアルゴリズム（即ち、ＲＯＩプーリングアルゴリズムステップＳ５７０）と境界ボックス回帰アルゴリズム（即ち、境界ボックス回帰アルゴリズムステップＳ５８０）とを実行して、ディープ畳み込み層アルゴリズム（即ち、ディープ畳み込み層アルゴリズムステップＳ５５０）の幾つかの段階の最後の段階によって生成された最後段階フィーチャ結果に基づいて検出予測（即ち、第ｔ番目の推測結果５０３）を行う。

より詳しく述べるに、図６は本開示の例示的実施形態の１つによる第１の物体検出アルゴリズムについて例示する。図５〜６を参照するに、プロセッサは、第１の物体検出アルゴリズム（例えば、図５及び図６に示したＣＶベースドなＲＯＩステップたるＳ５１０）を用いることによって第ｔ番目のＲＧＢ画像データ５０１を処理して、第１の物体検出結果（例えば、第ｔ番目の検出されたＲＧＢ画像データ５０２）を生成するのであり、第ｔ番目の検出されたＲＧＢ画像データ５０２は境界ボックス情報を含む。詳述するに、プロセッサは、第ｔ番目のＲＧＢ画像データ５０１を検出して、コンピュータビジョン（ＣＶ、computer vision）に基づいて興味対象領域（ＲＯＩ、regions of interest）（例えば、第ｔ番目の検出されたＲＧＢ画像データ５０２に示されている境界ボックス）を探すのであり、ＲＯＩは非限定的には人間や車両や物体検出装置の面前にある任意の障害物を含む。その後、プロセッサは、ＲＯＩに従って境界ボックス情報を生成するのであって、境界ボックス情報は境界ボックスについての座標情報（例えば、境界ボックスの四隅の座標）を含む。この実施形態では、境界ボックスの検出に関しての検出性能（例えば、偽陽性率）にかかわらず効率的に計算できる任意の種類の物体検出アルゴリズムを用い得ることに留意されたい。

その後、図７では、本開示の例示的実施形態の１つによるスパース更新マッピングアルゴリズムの複数の段階の各々について例示されている。図５及び図７を参照するに、プロセッサは、スパース更新マッピングアルゴリズムの複数の段階を用いることによって第１の物体検出結果（即ち、第ｔ番目の検出されたＲＧＢ画像データ５０２）を処理して、ＣＮＮモデル内の境界ボックス情報に従って更新された第１の物体検出結果の複数の段階を生成する。例えば、スパース更新マッピングアルゴリズムの第１段階（即ち、図５及び図７にて示されたＳＵＭアルゴリズムステップＳ５２０）において、プロセッサは、境界ボックス情報をボックス情報マップ（例えば、図７に示されたボックス情報マップ）へとマッピングすることによって、複数の境界ボックス（bounding box）を有するボックス情報マップ（例えば、図７に示された境界ボックスＢＢＸ１、ＢＢＸ２、ＢＢＸ３）を更新された第１の物体検出結果（例えば、図７に示された更新ボックス情報マップ）として生成する。

詳述するに、ボックス情報マップは複数のグリッドセル（例えば、グリッドセルＧＣ、ＧＣ０）を含み、更新ボックス情報マップも複数のグリッドセル（例えば、グリッドセルＧＣ１、ＧＣ２）を含み、各グリッドセルの長さは１ピクセルＰＩＸであり、各グリッドセルの幅は１ピクセルＰＩＸであり、ボックス情報マップ内のグリッドセルの個数はセンサデータ内の画素数と同様である。例えば、ボックス情報マップの長さは１７ピクセルＰＩＸであり、ボックス情報マップの幅は１０ピクセルＰＩＸである故に、ボックス情報マップの大きさ（即ち、ボックス情報マップのグリッドセルの個数）は１７０グリッドセルであり、センサデータのグリッドセルの個数もこの実施形態では１７０グリッドセルで構成される。図７は例に過ぎないことに留意されたいのであり、ボックス情報マップのグリッドセル個数に関して本開示との関連では何ら制約されない。

また、境界ボックス情報をボックス情報マップへとマッピングした後は、プロセッサは、グリッドセル及び境界ボックスが整列されているか否かを確認する。グリッドセル及び境界ボックスが整列されていない場合、プロセッサは、境界ボックス（例えば、境界ボックスＢＢＸ１）と重複しているグリッドセル（例えば、グリッドセルＧＣ０）を第１のナンバー領域として設定する。そうでない場合、プロセッサは、境界ボックス｛外の／を伴わない｝グリッドセル（例えば、グリッドセルＧＣ）を第２のナンバー領域として設定する。また、プロセッサは、空間的に重複している境界ボックスについての任意のセットに関しても（例えば、境界ボックスＢＢＸ２及び境界ボックスＢＢＸ３）、重複する境界ボックスについての単一的集団として組み合わせる。その後、プロセッサは、第１のナンバー領域の値を第１の指数（例えば、２進数でいう１）に設定し、また、第２のナンバー領域の値を第２の指数（例えば、２進数でいう０）に設定する。換言するに、プロセッサは、次のように振る舞う：境界ボックス及び重複している境界ボックスについての単一的集団の内側の（又はそれと重複している）グリッドセルの値として真の値（即ち、２進数でいう１）を設定し、また、境界ボックス及び重複している境界ボックスについての単一的集団の外にあるグリッドセルの値として偽の値（即ち、２進数でいう０）を設定する。したがって、更新されることを要している領域は、値として真の値を与えられているグリッドセルである、ということをプロセッサが了知していることになる。この例示的実施形態では第１の指数及び第２の指数は２進数であるもそれについてもっと制約はみられない。このようにして、プロセッサは、更新された第１の物体検出結果を生成する（即ち、図７に示された更新ボックス情報マップ）。

図８Ａ〜８Ｅは、本開示の例示的実施形態の１つによるディープ畳み込み層アルゴリズムの複数の段階の各々について例示する。図８Ａは、本開示の例示的実施形態の１つによるディープ畳み込み層アルゴリズムの複数の段階の各々についての詳細なフレームワークを示す。図５及び図８Ａを参照するに、プロセッサは、ディープ畳み込み層アルゴリズムを５段階実行して（例えば、図８Ａに図示のディープ畳み込み層アルゴリズムステップについての次の段階：Ｓ５３０、Ｓ５４０〜Ｓ５５０）、ＣＮＮモデルにおける更新された第１の物体検出結果の段階に基づいて複数のフィーチャ結果を対応するように抽出する。例示的実施形態においてはプロセッサがディープ畳み込み層アルゴリズムを５段階分実行することになるが、本開示はディープ畳み込み層アルゴリズムの段階数を限定するものではなく、図８Ａは例に過ぎず、本開示に関して何ら制限をもたらすものではない。他の実施形態では、プロセッサは、ディープ畳み込み層アルゴリズムをｋ段階分実行できるのであり、ｋは正の整数とする。

説明に関して詳述するに、ディープ畳み込み層アルゴリズムの各段階において、プロセッサは、次のことをなす：位置層アルゴリズムを用いることによってフィーチャ結果のプレ段階フィーチャ結果に基づいて更新された第１の物体検出結果の段階についてのプレ段階更新第１物体検出結果を処理して、ストリップフィーチャマップを生成するステップ（即ち、畳み込みアルゴリズムステップＳ５３１の位置層アルゴリズムステップＳ５３４ａ）；畳み込み層アルゴリズムを用いてストリップフィーチャマップを処理して、畳み込みストリップフィーチャマップを生成するステップ（即ち、畳み込みアルゴリズムステップＳ５３１の畳み込み層アルゴリズムステップＳ５３４ｂ）；復元層アルゴリズム（即ち、畳み込みアルゴリズムステップＳ５３１の復元層アルゴリズムステップＳ５３４ｃ）を用いてディープ畳み込み層アルゴリズムの諸段階の先の時点（earlier time point）における先行時フィーチャ結果（prior-time feature result）（例えば、図５及び図８Ａに示された第（ｔ−１）番目フィーチャマップ1 ５３２、第（ｔ−１）番目フィーチャマップ2 ５４２、第（ｔ−１）番目フィーチャマップ3、第（ｔ−１）番目フィーチャマップ4、及び第（ｔ−１）番目フィーチャマップ5 ５５２）に基づいて畳み込みストリップフィーチャマップを処理して、フィーチャ結果（例えば、図５に示された第ｔ番目フィーチャマップ1 ５３３、第ｔ番目フィーチャマップ2 ５４３及び第ｔ番目フィーチャマップ3 ５５３）を生成するステップであって、時点（ｔ−１）は時点ｔよりも先である、ステップ。

そして、プロセッサは、プーリング層アルゴリズムを用いることによってフィーチャ結果を処理してフィーチャ結果の空間的寸法を減じる（即ち、畳み込みアルゴリズムステップＳ５３１のプーリング層アルゴリズムステップＳ５３４ｄ）。換言するに、畳み込みアルゴリズムの各々は（例えば、畳み込みアルゴリズムｃｏｎｖ１、ｃｏｎｖ２、ｃｏｎｖ３、ｃｏｎｖ４、ｃｏｎｖ５、及びｃｏｎｖｋ、）、位置層アルゴリズム、畳み込み層アルゴリズム、復元層アルゴリズム、及びプーリング層アルゴリズムを含む。付言するに、ディープ畳み込み層アルゴリズムの各段階のフィルタは増大でき、後の段階にてより詳細な部分を探せるようにするのであり、例えば、ｃｏｎｖ１では６４のフィルタが、ｃｏｎｖ２では１２８のフィルタが、ｃｏｎｖ３では２５６のフィルタが、ｃｏｎｖ４では５１２のフィルタが、またｃｏｎｖ５では５１２のフィルタが伴うのであり、ここにはさらなる制約はもたらされない。これらの構成はネットワークアーキテクチャについての所望の設計応じて変えることができることに留意されたいのであり、本開示には制約が伴わない。

例えば、例示的実施形態としてのディープ畳み込み層アルゴリズムステップＳ５３０の幾つかの段階の第１の段階についての説明について言及するに、プロセッサは、更新された第１のオブジェクト検出結果（即ち、図７に示された更新されたボックス情報マップ）をプレ段階更新第１物体検出結果として受信するのであり、センサデータ（即ち、第ｔ番目のＲＧＢ画像データ５０１）をプレ段階フィーチャ結果として受信するのであり、そしてプロセッサは、ディープ畳み込み層アルゴリズムの幾つかの段階の第１段階を用いて第ｔ番目のＲＧＢ画像データ５０１に基づいて更新されたボックス情報マップを処理する。

その後、ディープ畳み込み層アルゴリズムステップＳ５４０の幾つかの段階の第２段階においてプロセッサは、スパース更新マッピングアルゴリズムＳ５２１の幾つかの段階の第２段階からの更新第１物体検出結果をプレ段階更新第１物体検出結果として受信するのであり、ディープ畳み込み層アルゴリズムステップＳ５３０の幾つかの段階の第１段階からのフィーチャ結果５３３をプレ段階フィーチャ結果として受信するのであり、そしてプロセッサは、ディープ畳み込み層アルゴリズムＳ５４０の幾つかの段階の第２段階を用いることによってフィーチャ結果５３３に基づいてスパース更新マッピングアルゴリズムＳ５２１の幾つかの段階の第２段階からの更新第１物体検出結果を処理するのであり、そのような態様で進み、次のことの実行がなされる：ディープ畳み込み層アルゴリズムの幾つかの段階の第３段階、ディープ畳み込み層アルゴリズムステップの幾つかの段階の第４段階、ディープ畳み込み層アルゴリズムＳ５５０の幾つかの段階の最後段階。

より具体的に述べるに、図８Ｂ〜８Ｃは、本開示の例示的実施形態の１つによる位置層アルゴリズムの複数の段階の各々について示す。図５、図８Ａ及び図８Ｂ〜８Ｃを参照するに、位置層アルゴリズムは次のステップを含む：プレ段階更新第１物体検出結果及びプレ段階フィーチャ結果を受信するステップと、プレ段階フィーチャ結果に基づいてプレ段階更新第１物体検出結果を分割して複数の画像領域を有する位置マップを生成するステップであって、画像領域はＮ＊Ｎのグリッドセルで構成されており、Ｎは正の整数とされる、ステップと、第１のナンバー領域と重複している画像領域の値を第１の指数として設定するステップと、位置マップをストリップフィーチャマップに畳み込むステップ。

例示的実施形態について説明するに、詳細な説明としては、ディープ畳み込み層アルゴリズムステップＳ５３０の幾つかの段階の第１段階の位置層アルゴリズムステップＳ５３４ａについて言及するのであり、プロセッサは、更新された第１物体検出結果（即ち、図８Ｂに示された更新ボックス情報マップ）をプレ段階更新第１物体検出結果として受信するのであり、センサデータ（即ち、第ｔ番目のＲＧＢ画像データ５０１）をプレ段階フィーチャ結果として受信する。そして、プロセッサは、第ｔ番目のＲＧＢ画像データ５０１に基づいて更新ボックス情報マップを分割して複数の画像領域（例えば、画像領域ＩＣ）を有する（図８Ｂに図示の）位置マップを生成するのであり、各画像領域は３＊３のグリッドセルで構成されている（例えば、９つのグリッドセルで構成されている。）次に、プロセッサは、第１のナンバー領域と重複している画像領域（例えば、画像領域ＩＣ１及びＩＣ２）の値を第１の指数として設定する。このようにして、更新ボックス情報マップを分割して画像領域を生成する方法は計算の効率性を向上させる。なぜならば、ブロック（例えば、３＊３グリッドセル）タイプの計算方法の方がディープ畳み込み層アルゴリズムにより適しているからである。

プロセッサは、位置マップ（即ち、位置マップ（ｗ×ｈ））をストリップフィーチャマップ（即ち、図８Ｃに示された画像セル（ｎ×ｎ×Ｃ））として識別することになろう。より具体的に述べるに、この実施形態の実の結果は位置マップ（ｗ×ｈ）であり、位置層アルゴリズムを用いることによって第ｔ番目のＲＧＢ画像データ５０１が処理される。そして、プロセッサは、位置マップ（ｗ×ｈ）（即ち、ラベル付け入力マップ（ｗ×ｈ×Ｃ））上の画像領域にラベル付けする。その後、プロセッサは、位置マップ（ｗ×ｈ）を画像セル（ｎ×ｎ×Ｃ）に畳み込むのであり、画像セル（ｎ×ｎ×Ｃ）のデータはＣ個の画像領域を含み、Ｃ個の画像領域の各々は３＊３のグリッドセルで構成されている。このような態様から分かるように、位置マップをストリップフィーチャマップに畳み込む方法は畳み込み層アルゴリズムを実行するに適している。

図８Ｄは、本開示の例示的実施形態の１つによる畳み込み層アルゴリズムの複数の段階の各々について示す。図５、図８Ａ、図８Ｄを参照するに、畳み込み層アルゴリズムは次のステップを含む：ストリップフィーチャマップを畳み込んで畳み込まれたストリップフィーチャマップを生成するステップ。詳述するに、説明の対象とする例示的実施形態としてはディープ畳み込み層アルゴリズムステップＳ５３０の幾つかの段階の第１段階の畳み込み層アルゴリズムステップＳ５３４ｂを選定するのであり、プロセッサは、ストリップフィーチャマップ（即ち、画像セル（ｎ×ｎ×Ｃ））を畳み込んで畳み込まれたストリップフィーチャマップ（即ち、出力画像セル（ｎ×ｎ×Ｃ））を生成する。この実施形態での畳み込み層アルゴリズムとしては、入力画像データからフィーチャマップを抽出するに際して効率的に計算できる任意の種類の畳み込み層アルゴリズムを用い得ることに留意されたい。

図８Ｅは、本開示の例示的実施形態の１つによる復元層アルゴリズムの複数の段階について示す。図５、図８Ａ、図８Ｅを参照するに、復元層アルゴリズムは次のステップを含む：畳み込みストリップフィーチャマップを受信するステップと、畳み込みストリップフィーチャマップと先行時フィーチャ結果とをオペレートしてフィーチャ結果を生成するステップ。より具体的に述べるに、説明の対象とする例示的実施形態としてはディープ畳み込み層アルゴリズムステップＳ５３０の幾つかの段階の第１段階の復元層アルゴリズムステップＳ５３４ｃを選定するのであり、プロセッサは、畳み込まれたストリップフィーチャマップ（即ち、出力画像セル（ｎ×ｎ×ｃ））を受信して位置マップ（ｗ×ｈ）に従って畳み込まれたストリップフィーチャマップをフィーチャマップ（即ち、フィーチャマップ（ｗ×ｈ×Ｃ））へと復元する（図８Ｃに示されている）。詳しく述べるに、出力画像セル（ｎ×ｎ×Ｃ）のデータは元データの位置情報を含まない故に（即ち、図５に示された第ｔ番目のＲＧＢ画像データ５０１）、フィーチャマップ（即ち、フィーチャマップ（ｗ×ｈ×Ｃ））をもってそれを位置マップへと逆写像されるべきである。そして、プロセッサは、フィーチャマップ（ｗ×ｈ×Ｃ）及び先行時フィーチャ結果に対してオペレーションをなして（例えば、図８Ｅに示された第（ｔ−１）番目のフィーチャマップ（ｗ×ｈ×Ｃ））、フィーチャ結果を生成するのであり（即ち、第ｔ番目のフィーチャマップ（ｗ×ｎ×Ｃ））、フィーチャ結果（即ち、第ｔ番目のフィーチャマップ（ｗ×ｎ×Ｃ））の生成のオペレーションは例えばＸＯＲ演算である。

図８Ｆは、本開示の例示的実施形態の１つによるプーリング層アルゴリズムの複数の段階の各々について示す。図５、図８Ａ、図８Ｆを参照するに、プロセッサは、プーリング層アルゴリズムを実行してフィーチャ結果の空間的寸法を減じて、入力フィーチャ結果からより多くのコンテキスチャルフィーチャを取得できるようにする（即ち、先の層から由来したフィーチャ結果）。より具体的に述べるに、説明の対象とする例示的実施形態としてはディープ畳み込み層アルゴリズムステップＳ５３０の幾つかの段階の第１段階のプーリング層アルゴリズムステップＳ５３４ｄを選定する。プロセッサは、フィーチャ結果（即ち、図８Ｆに示されている第ｔ番目のフィーチャマップ（ｗ×ｈ×Ｃ））の空間的寸法を減じて空間的に減じられたフィーチャ結果（即ち、図８Ｆに示されている第ｔ番目のフィーチャマップk+1（ｗ×ｎ×Ｃ））をもたらすのであり、第ｔ番目のフィーチャマップ（ｗ’×ｈ’×Ｃ）の位置情報は第ｔ番目のフィーチャマップk+1（ｗ’×ｈ’×Ｃ）の位置情報と同じであり、第ｔ番目のフィーチャマップ（ｗ’×ｈ’×Ｃ）の寸法は第ｔ番目のフィーチャマップk+1（ｗ’×ｈ’×Ｃ）の寸法よりも大きい。このようにして、プーリング層アルゴリズムを用いることによってフィーチャ結果の寸法を減じることができよって計算データ量の削減を図りうる。

換言するに、プロセッサは、畳み込み層アルゴリズムの前に位置層アルゴリズムを実行するのであり、畳み込み層アルゴリズムの後に復元層アルゴリズムを実行するのであり（例えば、図８Ａに示されているディープ畳み込み層アルゴリズムステップＳ５３０の幾つかの段階の第１段階）、同様に進みディープ畳み込み層アルゴリズムステップＳ５４０の幾つかの段階の第２段階を実行し、ディープ畳み込み層アルゴリズムステップＳ５５０の幾つかの段階の最後段階に達する。

他方で、プロセッサは、空間プーリングアルゴリズムの複数の段階を用いることによって更新第１物体検出結果の幾つかの段階の第１段階を処理してスパース更新マッピングアルゴリズムの各段階間で更新第１物体検出結果の幾つかの段階の空間的寸法を減じる。より具体的に述べるに、図９は、本開示の例示的実施形態の１つによる空間プーリングアルゴリズムの複数の段階の各々について示す。図５及び図９を参照するに、スパース更新マッピングアルゴリズムの各段階間において、プロセッサは、更新第１物体検出結果の第１段階の空間的寸法（即ち、図７及び図９に示されている更新ボックス情報マップ）を減じて、フィーチャ結果の各々の寸法が対応して合致するように図る。詳細に言及するに、例えば、プロセッサは、ＳＵＭアルゴリズムステップＳ５２０で生成された更新第１物体検出結果の空間的寸法を減じて、更新ボックス情報マップの位置情報を保持して、更新第１物体検出結果の寸法を変更する（即ち、図９の更新ボックス情報マップk+1）。したがって、更新ボックス情報マップk+1の寸法は、第（ｔ−１）番目のフィーチャマップ2 ５４２の寸法と同じである。そして、プロセッサは、ＳＵＭアルゴリズムステップＳ５２１を用いて更新ボックス情報マップk+1を処理して、更新第１物体検出結果の幾つかの段階の第２段階をディープ畳み込み層アルゴリズムステップＳ５４０の入力データとして生成するのであり、同様に進み、次のステップが実行される。空間プーリングアルゴリズムの処理方法及びプーリング層アルゴリズムの処理方法は異なることに留意されたいのであり、プーリング層アルゴリズムの処理方法はフィーチャ結果についての浮動小数点数の処理を伴うのに対して、空間プーリングアルゴリズムの処理方法は更新第１物体検出結果の２進数の処理を伴う。

最後に、プロセッサは、ＲＯＩプーリングアルゴリズム（即ち、ＲＯＩプーリングアルゴリズムステップＳ５７０）及び境界ボックス回帰アルゴリズム（即ち、境界ボックス回帰アルゴリズムステップＳ５８０）を実行して、ディープ畳み込み層アルゴリズムの幾つかの段階の最後段階によって生成された最後段階フィーチャ結果に基づいて検出予測（即ち、第ｔ番目の推測結果５０３）を行う。説明について詳述するに、プロセッサは、範囲不定の境界ボックスと空間的に相互接続された完全接続層とのインタフェースを提供するのであり、これによって、ネットワークアーキテクチャが畳み込みフィーチャの最終層を共有できるようにし（即ち、最後段階フィーチャ結果）、ＲＯＩプーリングアルゴリズムステップＳ５７０にて最終予測結果（即ち、検出予測）をなさるようにするのであり、そして、プロセッサは、各ＲＯＩについての信頼性予測がどのカテゴリにおそらく属するかを数値化するのであり、回帰境界ボックス値をもってそれらが物体により接近するようにし、最終出力をもたらす（即ち、第ｔ番目の推測結果５０３）

このようにして、本開示は、更新第１物体検出結果の不要な計算領域（即ち、第２のナンバー領域）を除くのであり、高精度予測の前提に基づいてこれをなすのであり、これをなすために第１の物体検出アルゴリズムとスパース更新マッピングアルゴリズムの複数の段階と空間プーリングアルゴリズムの複数の段階とディープ畳み込み層アルゴリズムの複数の段階とを用いるのであり、これによって瞬間的な演算速度を向上させ、また、不要な計算データ量の削減をもたらす。

図１０は、本開示の例示的実施形態の１つによる物体検出方法についての別の実装例を示す。自律車両Ｖ１０１０は、物体検出装置１０００を備える。物体検出装置１０００は、前カメラ１００１及び処理装置１００３を備える。前カメラ１３０１は処理装置１００３に接続されており、処理装置１００３は例えばIntel（登録商標） Core i9 7900X @ 3.3 GHzと128GB DDR4メモリとNVidia Titan X (Pascal) 12GB VRAMとを搭載してPythonプログラミング言語で動作するパーソナルコンピュータであることができ、前カメラ１００１によって生成されたセンサデータは１２８０×７２０ピクセルとされ得る。

図１０を参照するに、物体検出装置１０００は自律車両Ｖ１０１０の前にある物体を正確に検出できたのであり、例えばＣＰＵベースドな場合には平均演算速度は2.934 sec/frameに達し、例えばＧＰＵベースドな場合には平均演算速度は0.040 sec/frameに達した。この点、S. Ren et al., “Faster R-CNN: Towards Real-time Object Detection with Region Proposal Networks,” CoRR, vol. abs/1506.01497, 2016のフレームワークにおいては、ＣＰＵベースドな場合には高速Ｒ−ＣＮＮに関しての平均演算速度は8.219 sec/frameに達し、ＧＰＵベースドな場合には高速Ｒ−ＣＮＮに関しての平均演算速度は0.092 sec/frameに達したことに留意されたい。即ち、物体検出装置１０００は高速Ｒ−ＣＮＮよりも高速であり、物体検出装置１０００は、元のフレームワーク（即ち、高速Ｒ−ＣＮＮフレームワーク）の精度を維持できるのであり、複雑性を減じることができる。

物体検出装置１０００の複雑性は、瞬間的な演算速度を向上させて高精度予測の前提に基づいて不要な計算データ量を減じ得る。換言するに、処理装置１００３は、少なくとも：第１の物体検出アルゴリズムを用いることによってセンサデータを処理して第１の物体検出結果を生成するステップであって、第１の物体検出結果は境界ボックス情報を含む、ステップと；境界ボックス情報に従ってスパース更新マッピングアルゴリズムの複数の段階を用いることによって第１の物体検出結果を処理してＣＮＮモデルにおける更新された第１の物体検出結果の複数の段階を生成するステップと；空間プーリングアルゴリズムの複数の段階を用いることによって更新された第１の物体検出結果の幾つかの段階の第１の段階を処理してスパース更新マッピングアルゴリズムの各段階間で更新された第１の物体検出結果の段階の空間的寸法を減じるステップと；ディープ畳み込み層アルゴリズムの複数の段階を実行してＣＮＮモデルにおける更新された第１の物体検出結果の段階に基づいて複数のフィーチャ結果を対応するように抽出するステップと；ディープ畳み込み層アルゴリズムの幾つかの段階の最後の段階によって生成された最後段階フィーチャ結果に基づいて検出予測（即ち、図５における第ｔ番目の推測結果５０３）を行うステップとを行うように構成されている。

物体検出装置１０００は、図２、図５にて図示された物体検出装置と同一又は類似であるという点に留意されたい。したがって、さらなる説明は提供されない。

上述の説明を参照するに、本開示は自律車両において使用するのに適した物体検出装置を提供するのである。本開示の用途としては具体的には次のものが含まれ得る：提供された第１の物体検出アルゴリズムを用いることによってＲＯＩに従って境界ボックス情報を探すこと；提供されたスパース更新マッピングアルゴリズムを用いることによって更新された第１のオブジェクト検出結果の不要な計算領域を除くこと；空間プーリングアルゴリズムの複数の段階とディープ畳み込み層アルゴリズムの複数の段階とを提供して検出予測を行うこと。このようにして、瞬間的な演算速度を向上させ得る。

明示的に反対の説明なき限り、本願において開示された実施形態についての詳細な説明にて用いられた何らの要素、行為、又は命令も、絶対的に決定的又は必須的なものとは解されてはならない。また、本明細書にて用いられている場合、不定冠詞「ａ」及び「ａｎ」は１つより多くの要素を含み得る。１つの要素だけが意図されている場合、「単一の」やそれに類似した表現が用いられている。さらに、本明細書においては、「．．．のいずれか」との関連で言及される複数の要素及び／又は複数のカテゴリの列挙は、「いずれか」、「任意の組み合わせ」、「任意の複数のもの」、及び／又は「複数の要素及び／又は要素のカテゴリの任意の組み合わせを個別的に又は他の要素及び／又は他の要素のカテゴリを伴っていることを含むことが意図されている。さらに、本明細書においては、「セット」との用語は任意の個数の要素を含むものとして意図されており、ゼロ個の場合も含まれる。さらに、本明細書においては、「数」との用語は任意の数を含むものとして意図されており、ゼロも含まれる。

当業者からすれば、本開示の範囲又は精神から逸脱せずに、開示の実施形態については様々な変更やバリエーションをもたらすことができるということが明かである。上述からして、本開示は次のような変更及びバリエーションを包括するものとして意図されている：添付の特許請求の範囲及びそれらの等価物の範囲内に収まる変更やバリエーション。

本発明は、ＣＮＮモデルを用いる物体検出方法及び同方法を用いる物体検出装置を提供する。本開示は、自律型車両やその他の類似した装置に用いるのに適したものとできる。

ＵＮＵ 不使用フィーチャ（Unused feature）
２００、１０００ 物体検出装置
２１０ センサ
２２０ プロセッサ
３００、Ｖ１０１０ 自律車両
Ｓ４１０ 方法のステップ
Ｓ４２０ 方法のステップ
Ｓ４３０ 方法のステップ
Ｓ４４０ 方法のステップ
Ｓ４５０ 方法のステップ
Ｓ４６０ 方法のステップ
５０１ａ ＲＧＢカメラアレイ
５０１ 第ｔ番目のＲＧＢ画像データ
５０２ 第ｔ番目の検出ＲＧＢ画像データ
５０３ 第ｔ番目の推測結果
５３２、５４２、５５２ 第（ｔ−１）番目フィーチャマップ
５３３、５４３、５５３ 第ｔ番目フィーチャマップ
１００１ 前カメラ
１００３ 処理装置
Ｓ５１０ ＣＶベースドＲＯＩステップ
Ｓ５２０、Ｓ５２１、Ｓ５２２ ＳＵＭアルゴリズムステップ
Ｓ５３０、Ｓ５４０、Ｓ５５０ ディープ畳み込み層アルゴリズムステップ
Ｓ５３１、Ｓ５４１、Ｓ５５１ 畳み込みアルゴリズム（convolution algorithm）ステップ
Ｓ５３４ａ 位置層アルゴリズムステップ
Ｓ５３４ｂ 畳み込み層アルゴリズム（convolution layer algorithm）ステップ
Ｓ５３４ｃ 復元層アルゴリズムステップ
Ｓ５３４ｄ プーリング層アルゴリズムステップ
Ｓ５６０、Ｓ５６１ 空間プーリングアルゴリズムステップ
Ｓ５７０ ＲＯＩプーリングアルゴリズムステップ
Ｓ５８０ 境界ボックス回帰アルゴリズムステップ
ｃｏｎｖ1、ｃｏｎｖ2、ｃｏｎｖ3、ｃｏｎｖ4、ｃｏｎｖ5、ｃｏｎｖk 畳み込みアルゴリズム
ＩＣ、ＩＣ1、ＩＣ2 画像領域
ＰＩＸ 画素
ＧＣ、ＧＣ0、ＧＣ1、ＧＣ2 グリッドセル
ＢＢＸ1、ＢＢＸ2、ＢＢＸ3 境界ボックス

Claims (21)

1. ＣＮＮモデルを用いる物体検出方法であって、該方法は、
   センサを用いることによってセンサデータを生成するステップと、
   第１の物体検出アルゴリズムを用いることによって前記センサデータを処理して第１の物体検出結果を生成するステップであって、前記第１の物体検出結果は境界ボックス情報を含む、ステップと、
   前記境界ボックス情報に従って、複数の段階のスパース更新マッピングアルゴリズムを用いることによって前記第１の物体検出結果を処理して前記ＣＮＮモデルにおける複数の段階の更新された第１の物体検出結果を生成し、前記複数の段階のスパース更新マッピングアルゴリズムの各段階は、前記境界ボックス情報をボックス情報マップへとマッピングすることによって、複数の境界ボックスを有する前記ボックス情報マップを前記複数の段階の前記更新された第１の物体検出結果とするステップと、
   複数の段階の空間プーリングアルゴリズムを用いることによって前記複数の段階の前記更新された第１の物体検出結果中の第１の段階を処理して前記複数の段階のスパース更新マッピングアルゴリズムの各段階間で前記複数の段階の前記更新された第１の物体検出結果の前記段階の空間的寸法を減じるステップと、
   前記ＣＮＮモデルにおける前記複数の段階の前記更新された第１の物体検出結果に対して、複数の段階のディープ畳み込み層アルゴリズムを実行して、前記複数の段階の前記更新された第１の物体検出結果から前記複数の段階のディープ畳み込み層アルゴリズムの各段階にそれぞれ対応する複数のフィーチャ結果を抽出するステップと、
   前記複数の段階の前記ディープ畳み込み層アルゴリズムの最後の段階によって生成された最後段階のフィーチャ結果に基づいて検出予測を行うステップとを含む、方法。
2. 請求項１に記載の物体検出方法において前記スパース更新マッピングアルゴリズムの各段階は、
   前記境界ボックス情報をボックス情報マップへとマッピングすることによって複数の境界ボックスを有するボックス情報マップを前記更新された第１の物体検出結果として生成するステップであって、前記ボックス情報マップは複数のグリッドセルを含み、前記ボックス情報マップ内のグリッドセルの個数は前記センサデータ内の画素数と同様である、ステップを含む、方法。
3. 請求項２に記載の物体検出方法において前記スパース更新マッピングアルゴリズムの各段階は、
   境界ボックスと重複している前記グリッドセルを第１のナンバー領域として設定し、また、前記境界ボックス外の前記グリッドセルを第２のナンバー領域として設定するステップと、
   前記第１のナンバー領域の値を第１の指数として設定し、また、前記第２のナンバー領域の値を第２の指数として設定するステップであって、前記第１の指数及び前記第２の指数は異なる、ステップとをさらに含む、方法。
4. 請求項３に記載の物体検出方法において、前記第１の指数は更新を要する領域を表し、前記第２の指数は更新が不要だった領域を表す、方法。
5. 請求項３に記載の物体検出方法において前記スパース更新マッピングアルゴリズムの各段階は、
   空間的に重複している前記境界ボックスについての任意のセットを重複する境界ボックスについての単一的集団として組み合わせるステップをさらに含む、方法。
6. 請求項３〜５のいずれかに記載の物体検出方法において、前記ディープ畳み込み層アルゴリズムの各段階は、
   位置層アルゴリズムを用いることによって前記フィーチャ結果のプレ段階フィーチャ結果に基づいて前記更新された第１の物体検出結果の前記段階についてのプレ段階更新第１物体検出結果を処理して、ストリップフィーチャマップを生成するステップと、
   畳み込み層アルゴリズムを用いて前記ストリップフィーチャマップを処理して畳み込みストリップフィーチャマップを生成するステップと、
   復元層アルゴリズムを用いて前記ディープ畳み込み層アルゴリズムの諸段階の先の時点における先行時フィーチャ結果に基づいて前記畳み込みストリップフィーチャマップを処理して前記フィーチャ結果を生成するステップと、
   プーリング層アルゴリズムを用いることによって前記フィーチャ結果を処理して前記フィーチャ結果の空間的寸法を減じるステップとを含む、方法。
7. 請求項６に記載の物体検出方法において前記位置層アルゴリズムは、
   前記プレ段階更新第１物体検出結果及び前記プレ段階フィーチャ結果を受信するステップと、
   前記プレ段階フィーチャ結果に基づいて前記プレ段階更新第１物体検出結果を分割して複数の画像領域を有する位置マップを生成するステップであって、前記画像領域はＮ＊Ｎのグリッドセルで構成されており、Ｎは正の整数とされる、ステップと、
   前記第１のナンバー領域と重複している前記画像領域の値を前記第１の指数として設定するステップと、
   前記位置マップに対して畳み込み処理を行って、前記ストリップフィーチャマップに変換するステップとを含む、方法。
8. 請求項７に記載の物体検出方法において前記畳み込み層アルゴリズムは、
   前記ストリップフィーチャマップを畳み込んで畳み込みストリップフィーチャマップを生成するステップをさらに含む、方法。
9. 請求項８に記載の物体検出方法において前記復元層アルゴリズムは、
   前記畳み込みストリップフィーチャマップを受信するステップと、
   前記畳み込みストリップフィーチャマップと前記先行時フィーチャ結果とをオペレートして前記フィーチャ結果を生成するステップとをさらに含む、方法。
10. 請求項１〜９のいずれかに記載の物体検出方法において、前記第１の物体検出アルゴリズムを用いることによって前記センサデータを処理するステップは、
    前記センサデータを検出してコンピュータビジョンに基づいて興味対象領域を探すステップと、
    前記興味対象領域に従って前記境界ボックス情報を生成するステップとを含む、方法。
11. 物体検出装置であって、
    センサデータを生成するセンサと、
    前記センサに接続されたプロセッサであって、該プロセッサは少なくとも、
    第１の物体検出アルゴリズムを用いることによって前記センサデータを処理して第１の物体検出結果を生成するステップであって、前記第１の物体検出結果は境界ボックス情報を含む、ステップと、
    前記境界ボックス情報に従ってスパース更新マッピングアルゴリズムの複数の段階を用いることによって前記第１の物体検出結果を処理してＣＮＮモデルにおける更新された第１の物体検出結果の複数の段階を生成するステップと、
    空間プーリングアルゴリズムの複数の段階を用いることによって前記更新された第１の物体検出結果の幾つかの段階の第１の段階を処理してスパース更新マッピングアルゴリズムの各段階間で前記更新された第１の物体検出結果の前記段階の空間的寸法を減じるステップと、
    ディープ畳み込み層アルゴリズムの複数の段階を実行してＣＮＮモデルにおける前記更新された第１の物体検出結果の前記段階に基づいて複数のフィーチャ結果を対応するように抽出するステップと、
    前記ディープ畳み込み層アルゴリズムの前記幾つかの段階の最後の段階によって生成された最後段階フィーチャ結果に基づいて検出予測を行うステップとを行うように構成されている、プロセッサとを備える、物体検出装置。
12. 請求項１１に記載の物体検出装置において前記スパース更新マッピングアルゴリズムの各段階は、
    前記境界ボックス情報をボックス情報マップへとマッピングすることによって複数の境界ボックスを有するボックス情報マップを前記更新された第１の物体検出結果として生成するステップであって、前記ボックス情報マップは複数のグリッドセルを含み、前記ボックス情報マップ内のグリッドセルの個数は前記センサデータ内の画素数と同様である、ステップを含む、物体検出装置。
13. 請求項１２に記載の物体検出装置において前記スパース更新マッピングアルゴリズムの各段階は、
    前記境界ボックスと重複している前記グリッドセルを第１のナンバー領域として設定し、また、前記境界ボックス外の前記グリッドセルを第２のナンバー領域として設定するステップと、
    前記第１のナンバー領域の値を第１の指数として設定し、また、前記第２のナンバー領域の値を第２の指数として設定するステップであって、前記第１の指数及び前記第２の指数は異なる、ステップとをさらに含む、物体検出装置。
14. 請求項１３に記載の物体検出装置において、前記第１の指数は更新を要する領域を表し、前記第２の指数は更新が不要だった領域を表す、物体検出装置。
15. 請求項１３に記載の物体検出装置において前記スパース更新マッピングアルゴリズムの各段階は、
    空間的に重複している前記境界ボックスについての任意のセットを重複する境界ボックスについての単一的集団として組み合わせるステップをさらに含む、物体検出装置。
16. 請求項１３〜１５のいずれかに記載の物体検出装置において、前記ディープ畳み込み層アルゴリズムの各段階は、
    位置層アルゴリズムを用いることによって前記フィーチャ結果のプレ段階フィーチャ結果に基づいて前記更新された第１の物体検出結果の前記段階についてのプレ段階更新第１物体検出結果を処理して、ストリップフィーチャマップを生成するステップと、
    畳み込み層アルゴリズムを用いて前記ストリップフィーチャマップを処理して畳み込みストリップフィーチャマップを生成するステップと、
    復元層アルゴリズムを用いて前記ディープ畳み込み層アルゴリズムの諸段階の先の時点における先行時フィーチャ結果に基づいて前記畳み込みストリップフィーチャマップを処理して前記フィーチャ結果を生成するステップと、
    プーリング層アルゴリズムを用いることによって前記フィーチャ結果を処理して前記フィーチャ結果の空間的寸法を減じるステップとを含む、物体検出装置。
17. 請求項１６に記載の物体検出装置において前記位置層アルゴリズムは、
    前記プレ段階更新第１物体検出結果及び前記プレ段階フィーチャ結果を受信するステップと、
    前記プレ段階フィーチャ結果に基づいて前記プレ段階更新第１物体検出結果を分割して複数の画像領域を有する位置マップを生成するステップであって、前記画像領域はＮ＊Ｎのグリッドセルで構成されており、Ｎは正の整数とされる、ステップと、
    前記第１のナンバー領域と重複している前記画像領域の値を前記第１の指数として設定するステップと、
    前記位置マップを前記ストリップフィーチャマップに畳み込むステップとを含む、物体検出装置。
18. 請求項１７に記載の物体検出装置において前記畳み込み層アルゴリズムは、
    前記ストリップフィーチャマップを畳み込んで畳み込みストリップフィーチャマップを生成するステップをさらに含む、物体検出装置。
19. 請求項１８に記載の物体検出装置において前記復元層アルゴリズムは、
    前記畳み込みストリップフィーチャマップを受信するステップと、
    前記畳み込みストリップフィーチャマップと前記先行時フィーチャ結果とをオペレートして前記フィーチャ結果を生成するステップとをさらに含む、物体検出装置。
20. 請求項１１〜１９のいずれかに記載の物体検出装置において、前記プロセッサが行うように少なくとも構成されている前記第１の物体検出アルゴリズムを用いることによって前記センサデータを処理するステップは、
    前記センサデータを検出してコンピュータビジョンに基づいて興味対象領域を探すステップと、
    前記興味対象領域に従って前記境界ボックス情報を生成するステップとを含む、物体検出装置。
21. 請求項１１〜２０のいずれかに記載の物体検出装置において前記センサはカメラを備える、物体検出装置。