JP7269979B2 - 歩行者を検出するための方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム - Google Patents

Description

本発明の実施例は、コンピュータ技術の分野に関し、特に画像処理の分野に関し、具体的には歩行者を検出するための方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラムに関する。

歩行者の検出アルゴリズムの正確さの継続的な進歩、及びトリップコンピュータ側での計算量の少ない歩行者検出に対する切実なニーズに伴い、ますます多くの歩行者の検出アルゴリズムをモバイル端末に置く。これらのモバイル端末はハードウェアレベルが低く、計算能力が低い。現在、効果の良い歩行者の検出アルゴリズムがディープラーニング技術を使用するが、ディープラーニングアルゴリズムは多くの計算リソースを必要とする。これらのディープラーニングアルゴリズムがハードウェアレベルの低いモバイル端末では動作できないことが多い。

本発明の実施例では、歩行者を検出するための方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラムを提案する。

第１態様において、ターゲット画像を取得することと、上記ターゲット画像をトリミング処理することにより、第１のトリミング画像を得ることと、上記第１のトリミング画像の特徴を抽出することにより、特徴マップを得ることと、上記特徴マップをトリミング処理することにより、第２のトリミング画像を得ることと、上記第２のトリミング画像における歩行者を識別することにより、歩行者の検出結果を得ることとを含む、歩行者を検出するための方法に関する。

第２態様において、ターゲット画像を取得するように構成される画像取得ユニットと、上記ターゲット画像をトリミング処理することにより、第１のトリミング画像を得るように構成される第１のトリミングユニットと、上記第１のトリミング画像の特徴を抽出することにより、特徴マップを得るように構成される特徴抽出ユニットと、上記特徴マップをトリミング処理することにより、第２のトリミング画像を得るように構成される第２のトリミングユニットと、上記第２のトリミング画像における歩行者を識別することにより、歩行者の検出結果を得るように構成される歩行者検出ユニットとを含む、歩行者を検出するための装置に関する。

第３態様において、本発明の実施例は、１つ以上のプロセッサと、１つ以上のプログラムが記憶された記憶装置とを含み、上記１つ以上のプログラムが上記１つ以上のプロセッサによって実行されるとき、第１態様のいずれかの実施例で説明された方法を上記１つ以上のプロセッサに実行させる電子デバイスに関する。

第４態様において、本発明の実施例は、コンピュータプログラムが記憶されたコンピュータ可読媒体であって、上記コンピュータプログラムがプロセッサによって実行されるとき、第１態様のいずれかの実施例で説明された方法を実現するコンピュータ可読媒体に関する。

第５態様において、本発明の実施例は、コンピュータプログラムであって、上記コンピュータプログラムがプロセッサによって実行されるとき、第１態様のいずれかの実施例で説明された方法を実現するコンピュータプログラムに関する。

本発明の技術によると、既存の歩行者の検出アルゴリズムの計算量が大きいという問題が解決され、ターゲット画像をトリミング処理することにより、画像の計算量を低減し、計算リソースの使用量を低減し、ハードウェアレベルが低いモバイル端末に、より便利に適用することができる。

本明細書で記載された内容は、本開示の実施例のキーまたは重要な特徴を特定することを意図したものではなく、本開示の範囲を制限するものでもないことを理解すべきである。本開示の他の特徴は、以下の説明によって容易に理解される。

本発明のその他の特徴、目的および利点をより明確にするために、以下の図面を参照してなされた非限定的な実施例の詳細な説明を参照する。

本発明の一実施例が適用可能な例示的なシステムアーキテクチャ図である。 本発明による歩行者を検出するための方法の一実施例のフローチャートである。 図２に示された第１の実施例による応用シーンを示す概略図である。 本発明による歩行者を検出するための方法の一実施例のフローチャートである。 本発明による歩行者を検出するための装置の一実施例の概略構成図である。 本発明の実施例を実現するために適用される電子デバイスのコンピュータシステムの概略構成図である。

以下、図面及び実施例を参照して本発明をさらに詳細に説明する。ここで説明された具体的な実施例は、単に関連発明を説明するためのものであって、当該発明を限定するものではないことが理解される。なお、説明を容易にするために、図面には、関連発明に関する部分のみが示されている。

なお、矛盾しない場合には、本発明の実施例及び実施例における特徴を互いに組み合わせることができる。以下、図面を参照して、実施例に合わせて本発明を詳細に説明する。

図１には、本発明が適用され得る、歩行者を検出するための方法又は歩行者を検出するための装置の実施例の例示的なシステムアーキテクチャ１００が示されている。

図１に示すように、システムアーキテクチャ１００は、端末装置１０１、１０２、１０３および画像収集装置１０４を含むことができる。画像収集装置１０４と端末装置１０１、１０２、１０４との間は、ネットワーク通信によって接続され、ネットワークは、例えば有線、無線通信リンク、または光ファイバケーブルなどの様々な接続タイプを含むことができる。

端末装置１０１、１０２、１０３は、ネットワークを介して画像収集装置１０４によって収集された画像を受信し、画像を処理することができる。画像収集装置１０４は、端末装置１０１、１０２、１０３に取り付けられることができる。

なお、端末装置１０１、１０２、１０３は、ハードウェアでもソフトウェアでもよい。端末装置１０１、１０２、１０３がハードウェアである場合、ディスプレイを有し、画像処理をサポートする様々な電子デバイスであってもよく、スマートフォン、タブレットコンピューター、ラップトップコンピューター、デスクトップコンピューターなどが含まれるが、これらに限定されない。端末装置１０１、１０２、１０３がソフトウェアである場合、上述した電子デバイスに取り付けられることができる。複数のソフトウェアまたはソフトウェアモジュール（例えば分散型サービスを提供する）として実現されてもよく、単一のソフトウェアまたはソフトウェアモジュールとして実現されてもよい。ここで、具体的に限定しない。

画像収集装置１０４は、カメラ、ビデオカメラなどの画像を収集するための様々な装置であってもよい。画像収集装置１０４は、収集した画像をリアルタイムで端末装置１０１、１０２、１０３に送信することができる。

なお、本発明の実施例による歩行者を検出するための方法は、端末装置１０１、１０２、１０３によって実行されてもよいし、画像収集装置１０４によって実行されてもよい。これに対応して、歩行者を検出するための装置は、一般的に端末装置１０１、１０２、１０３に配置されてもよいし、画像収集装置１０４に配置されてもよい。

図１の端末装置および画像収集装置の数は単なる例示であることを理解すべきである。必要に応じて、任意の数の端末装置および画像収集装置を備えることができる。

続けて図２を参照すると、本発明による歩行者を検出するための方法の一実施例のフロー２００が示されている。本実施例の歩行者を検出するための方法は、以下のステップを含む。

ステップ２０１において、ターゲット画像を取得する。

本実施例において、歩行者を検出するための方法の実行主体（例えば図１に示された端末装置１０１、１０２、１０３または画像収集装置１０４）は、有線接続または無線接続によってターゲット画像を取得することができる。ここで、ターゲット画像は、歩行者を含む任意の画像であることができる。

ステップ２０２において、ターゲット画像をトリミング処理することにより、第１のトリミング画像を得る。

実行主体は、ターゲット画像を得た後、画像をトリミング処理することにより、第１のトリミング画像を得ることができる。具体的には、実行主体は、上方の一部の領域をトリミングすることにより、第１のトリミング画像を得ることができる。または、実行主体は、ターゲット画像をプリセットサイズにトリミングすることにより、第１のトリミング画像を得ることもできる。実行主体によってトリミングされた部分には有効な歩行者情報が含まれなくてもよく、すなわち、トリミングされた部分には歩道橋を歩く歩行者が含まれることが理解できる。第１のトリミング画像には有効な歩行者情報が含まれる。

ステップ２０３において、第１のトリミング画像の特徴を抽出することにより、特徴マップを得る。

実行主体は、第１のトリミング画像を得た後、第１のトリミング画像の特徴を抽出することにより、特徴マップを得ることができる。具体的には、実行主体は、様々な特徴抽出アルゴリズムを用いて、第１のトリミング画像に対し特徴抽出を行うことにより、特徴マップを得ることができる。上記特徴抽出アルゴリズムは、畳み込みニューラルネットワークなどを含むことができる。上記特徴マップには、例えば歩行者の輪郭、位置、中心などの有効な歩行者の情報が含まれてもよい。

ステップ２０４において、特徴マップをトリミング処理することにより、第２のトリミング画像を得る。

実行主体は、特徴マップを得た後、特徴マップをトリミング処理することにより、第２のトリミング画像を得ることができる。ステップ２０３の特徴抽出の後、特徴マップには、歩行者の一部の情報が含まれ、すなわち歩行者検出に必要な情報が含まれていることが理解できる。これに加えて、計算量をさらに減らすために、特徴マップをさらにトリミング処理することにより、第２のトリミング画像を得ることができる。ここで、実行主体は、特徴マップの上方の一部の領域をトリミングすることができる。または、実行主体は、特徴マップをプリセットサイズにトリミングすることもできる。

ステップ２０５において、第２のトリミング画像における歩行者を識別することにより、歩行者の検出結果を得る。

第２のトリミング画像を得た後、実行主体は、第２のトリミング画像に対して歩行者検出を行うことにより、歩行者の検出結果を得る。具体的には、実行主体は、様々な歩行者検出アルゴリズムを用いて、第２のトリミング画像を処理することにより、歩行者の検出結果を得ることができる。上記歩行者検出アルゴリズムは、様々なニューラルネットワークを含むことができる。

本発明の上記実施例による歩行者を検出するための方法では、ターゲット画像を複数回トリミングしながら歩行者の特徴を抽出することができ、計算量を減らすとともに、歩行者検出の正確性も確保できる。

続けて図３を参照すると、本発明による歩行者を検出するための方法の別の実施例のフロー３００が示されている。図３に示すように、本実施例の方法は、以下のステップを含む。

ステップ３０１において、車両に取り付けられたドライブレコーダーで収集された画像をターゲット画像とする。

実行主体は、車両に取り付けられたドライブレコーダーで収集された画像を取得し、上記画像をターゲット画像とすることができる。上記画像には、車両の走行環境の情報が含まれることができる。ドライブレコーダーの取り付け位置が比較的低く、収集された画像には歩道橋情報が含まれることができ、上記歩道橋には歩行者がいる可能性があることは理解できる。上記歩行者は車両の走行に影響しないので、上記歩行者を検出する必要はない。

ステップ３０２において、ターゲット画像の上方のプリセット比率の領域をトリミングすることにより、第１のトリミング画像を得る。

本実施例において、実行主体は、ターゲット画像の上方のプリセット比率の領域をトリミングすることにより、第１のトリミング画像を得ることができる。上記プリセット比率は、画像に含まれるコンテンツによって確定されることができる。具体的には、実行主体は、ターゲット画像における各オブジェクトを識別し、車両からプリセット距離以外の領域に含まれるオブジェクトをトリミングすることができる。例を挙げると、実行主体は、車両の前方５０メートル先の領域をトリミングすることができる。上記領域は、ターゲット画像の上方にある。いくつかの具体的な適用例では、上記プリセット比率は、１／４であってもよい。

ステップ３０３において、第１のトリミング画像の特徴を抽出し、抽出プロセスにおいて第１のトリミング画像をトリミング処理することにより、特徴マップを得る。

本実施例において、実行主体は、第１のトリミング画像を得た後、第１のトリミング画像を抽出し特徴抽出を行い、抽出プロセスにおいて第１のトリミング画像をトリミング処理することにより、特徴マップを得る。具体的には、実行主体は、特徴抽出アルゴリズムを用いて、第１のトリミング画像に対し特徴抽出を行った後、中間特徴マップを得ることができる。そして、実行主体は、得られた中間特徴マップをトリミングすることができる。そして、実行主体は、特徴抽出アルゴリズムを用いて、トリミングされた後の中間特徴マップに対して再度特徴抽出を行うことにより、再度中間特徴マップを得る。実行主体は、得られた中間特徴マップを再度トリミングすることにより、特徴マップを得ることができる。実行主体は、第１のトリミング画像の特徴を複数回抽出することにより、特徴マップを得ることができ、得られた特徴マップを複数回トリミングすることにより、特徴マップを得ることもできることが理解できる。このようにすると、歩行者の有効な特徴をトリミングしないことが保証される。

本実施例のいくつかの選択可能な実施形態において、実行主体は、図３に示されない以下のステップによって特徴マップを得ることができ、即ち、第１のトリミング画像に対して少なくとも２回の畳み込み演算を行い、少なくとも１回の畳み込み演算の後、得られた特徴マップに対して少なくとも１回のトリミング処理を行うことにより、特徴マップを得る。

本実施例において、実行主体は、少なくとも２つの畳み込み層を用いて、第１のトリミング画像に対して特徴抽出を行うことができる。実行主体は、上記少なくとも２つの畳み込み層を用いて、第１のトリミング画像に対して少なくとも２回の畳み込み演算を行うことができる。畳み込み演算を行うたびに、中間特徴マップが得られることが理解できる。少なくとも１回の畳み込み演算の後、得られた中間特徴マップに対して少なくとも１回のトリミング処理を行う。具体的には、実行主体は、２回の畳み込み演算を行った後、得られた中間特徴マップに対して１回のトリミング処理を行うことができる。例えば、中間特徴マップの上方の１／９の領域をトリミングする。または、実行主体は、１回の畳み込み演算を行った後、中間特徴マップの上方の１／１８の領域をトリミングする。この後、トリミングされた中間特徴マップに対して畳み込み演算を再度行うことにより、中間特徴マップを再度得る。上記中間特徴マップを再度トリミングし、即ち、中間特徴マップの上方の１／１８の領域を再度トリミングする。

歩行者の中心が一般的にターゲット画像の中下に位置し、歩行者の特徴を抽出するので、得られた中間特徴マップの上方の領域をトリミングすることができる。このようにすると、歩行者の有効な特徴をトリミングしないことが保証される。

ステップ３０４において、特徴マップをトリミング処理することにより、第２のトリミング画像を得る。

特徴マップを得た後、実行主体は、得られた特徴マップをトリミング処理することができる。特徴マップには歩行者の中心位置情報が含まれる。したがって、この場合、特徴マップを再度トリミング処理しても、歩行者の検出結果に影響を与えない。計算量を減らすために、特徴マップの上方の一部の領域をトリミングすることができる。いくつかの具体的な適用例では、上記の一部の領域は、１／４の領域であってもよい。

本実施例のいくつかの選択可能な実施形態において、上記第２のトリミング画像のサイズは、ターゲット画像のサイズの１／２以上である。

本実施形態では、歩行者検出の計算量を低減しながら、歩行者検出の正確性を確保するために、第２のトリミング画像のサイズをターゲット画像のサイズの１／２以上とする。

ステップ３０５において、第２のトリミング画像における歩行者を識別することにより、歩行者の検出結果を得る。

続けて図４を参照すると、図４は、本実施例による歩行者を検出するための方法の一応用シーンを示す概略図である。図４の応用シーンでは、自動運転車にはドライブレコーダー４０１が取り付けられ、ドライブレコーダー４０１は、収集した画像を自動運転車の車載コンピュータ４０２に送信することができる。上記車載コンピュータ４０２は、上記実施例によって歩行者検出を行うことにより、歩行者の検出結果を得ることができる。

本発明の上記実施例による歩行者を検出するための方法では、ドライブレコーダーで収集された画像を複数回トリミング処理し、且つ有効な歩行者情報を含む特徴をできるだけ抽出することができるため、歩行者検出の正確性を確保するとともに、歩行者検出の計算量を低減することができる。

さらに図５を参照して、上記の各図に示された方法の実現として、本発明は歩行者を検出するための装置の一実施例を提供し、当該装置の実施例は、図２に示す方法実施例に対応し、当該装置は、具体的に様々な電子デバイスに適用できる。

図５に示すように、本実施例に係る歩行者を検出するための装置５００は、画像取得ユニット５０１と、第１のトリミングユニット５０２と、特徴抽出ユニット５０３と、第２のトリミングユニット５０４と、歩行者検出ユニット５０５とを含む。

画像取得ユニット５０１は、ターゲット画像を取得するように構成される。

第１のトリミングユニット５０２は、ターゲット画像をトリミング処理することにより、第１のトリミング画像を得るように構成される。

特徴抽出ユニット５０３は、第１のトリミング画像の特徴を抽出することにより、特徴マップを得るように構成される。

第２のトリミングユニット５０４は、特徴マップをトリミング処理することにより、第２のトリミング画像を得るように構成される。

歩行者検出ユニット５０５は、第２のトリミング画像における歩行者を識別することにより、歩行者の検出結果を得る。

本実施例のいくつかの選択可能な実施形態において、特徴抽出ユニット５０３は、さらに、第１のトリミング画像の特徴を抽出し、抽出プロセスにおいて第１のトリミング画像をトリミング処理することにより、特徴マップを得るように構成される。

本実施例のいくつかの選択可能な実施形態において、特徴抽出ユニット５０３は、さらに、第１のトリミング画像に対して少なくとも２回の畳み込み演算を行い、少なくとも１回の畳み込み演算の後、得られた特徴マップに対して少なくとも１回のトリミング処理を行うことにより、特徴マップを得るように構成される。

本実施例のいくつかの選択可能な実施形態において、画像取得ユニット５０１は、さらに、車両に取り付けられたドライブレコーダーで収集された画像をターゲット画像とするように構成される。

本実施例のいくつかの選択可能な実施形態において、第１のトリミングユニット５０２は、さらに、ターゲット画像の上方のプリセット比率の領域をトリミングすることにより、第１のトリミング画像を得るように構成される。

本実施例のいくつかの選択可能な実施形態において、第２のトリミング画像のサイズは、ターゲット画像のサイズの１／２以上である。

歩行者を検出するための装置５００に記載されたユニット５０１～ユニット５０５は、それぞれ図２を参照して説明された方法における各ステップに対応することを理解すべきである。したがって、上記の歩行者を検出するための方法について説明された動作および特徴は、装置５００およびその中に含まれるユニットにも同様に適用され、ここでは説明を省略する。

本発明の実施例によると、本発明は、電子デバイス及び可読記憶媒体をさらに提供する。

図６に示すように、本発明の実施例の歩行者を検出するための方法による電子デバイスのブロック図である。電子デバイスは、ラップトップコンピュータ、デスクトップコンピュータ、作業台、パーソナルデジタルアシスタント、サーバー、ブレードサーバ、大型コンピュータ、および他の適切なコンピュータのような様々な形態のデジタルコンピュータを表すことを意図している。電子デバイスは、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス、および他の類似のコンピューティングデバイスのような様々な形態のモバイルデバイスを表すこともできる。本明細書に示された部品、それらの接続および関係、およびそれらの機能は、単なる例にすぎず、本明細書で説明されおよび/または要求されている本発明の実現を制限することを意図しない。

図６に示すように、当該電子デバイスは、少なくとも１つのプロセッサ６０１と、メモリ６０２と、高速インターフェースと低速インターフェースを含む各部品を接続するためのインターフェースとを含む。各部品は、異なるバス６０３を利用して互いに接続され、共通マザーボードに取り付けられてもよいし、必要に応じて他の方法で取り付けられてもよい。プロセッサは、ＧＵＩのグラフィカル情報を外部入力／出力装置（例えば、インタフェースにカップリングされた表示装置）に表示するためのメモリ内またはメモリ上に記憶された命令を含む、電子デバイス内で実行された指令を処理することができる。他の実施形態では、必要に応じて、複数のプロセッサおよび／または複数のバス６０３を複数のメモリおよび複数のメモリとともに使用することができる。同様に、複数の電子デバイスを接続してもよく、各機器は、部分的に必要な動作（例えば、サーバアレイ、１組のブレードサーバ、またはマルチプロセッサシステムとして）を提供する。図６では、１つのプロセッサ６０１を例にとる。

メモリ６０２は、本発明による非一時的コンピュータ可読記憶媒体である。ここで、メモリ６０２は、少なくとも１つのプロセッサによって実行され得る指令を記憶することにより、本発明による歩行者を検出するための方法を少なくとも１つのプロセッサに実行させる。本発明の非一時的コンピュータ可読記憶媒体は、コンピュータ指令を記憶し、当該コンピュータ指令は、本発明による歩行者を検出するための方法をコンピュータに実行させるために使用される。

メモリ６０２は、非一時的コンピュータ可読記憶媒体として、本発明の実施例における歩行者を検出するための方法に対応するプログラム指令／ユニット（例えば、図５に示された画像取得ユニット５０１、第１のトリミングユニット５０２、特徴抽出ユニット５０３、第２のトリミングユニット５０４および歩行者検出ユニット５０５）のような、非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能プログラム、およびモジュールを記憶するために使用されることができる。プロセッサ６０１は、メモリ６０２に記憶された非一時的ソフトウェアプログラム、指令およびモジュールを実行することにより、サーバーの様々な機能アプリケーションおよびデータ処理を実行し、すなわち、上述した方法の実施例における歩行者を検出するための方法が実現される。

メモリ６０２は、プログラム記憶領域およびデータ記憶領域を含むことができ、ここで、プログラム記憶領域は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶領域は、歩行者を検出するための方法を実行する電子デバイスの使用によって作成されたデータなどを記憶することができる。また、メモリ６０２は、高速ランダムアクセスメモリを含むことができ、例えば少なくとも１つの磁気ディスク記憶装置、フラッシュメモリ装置、または他の非一時的固体記憶装置などの非一時的メモリを含むこともできる。いくつかの実施例では、選択肢の一つとして、メモリ６０２は、プロセッサ６０１に対して遠隔的に配置されたメモリを含むことができ、これらの遠隔メモリは、ネットワークを介して歩行者を検出するための方法を実行する電子デバイスに接続されることができる。上記のネットワークの例は、インターネット、企業内ネットワーク、ローカルエリアネットワーク、モバイル通信ネットワークおよびその組み合わせを含むが、これらに限定されない。

歩行者を検出するための方法を実行する電子デバイスは、入力装置６０４および出力装置６０５をさらに含むことができる。プロセッサ６０１、メモリ６０２、入力装置６０４および出力装置６０５は、バス６０３または他の方法で接続されることができ、図６では、バス６０３で接続されることを例にとる。

入力装置６０４は、入力された数字または文字メッセージを受信し、歩行者を検出するための方法を実行する電子デバイスのユーザ設定および機能制御に関するキー信号入力を生成することができ、例えばタッチスクリーン、キーパッド、マウス、トラックボード、タッチパッド、指示棒、１つ以上のマウスボタン、トラックボール、ジョイスティックなどの入力装置が挙げられる。出力装置６０５は、表示装置、補助照明装置（例えば、ＬＥＤ）、および触覚フィードバック装置（例えば、振動モータ）などを含むことができる。当該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、およびプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施例では、表示装置は、タッチスクリーンであってもよい。

ここで説明されたシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（専用集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはこれらの組み合わせにおいて実現されることができる。これらの様々な実施形態は、以下の内容を含むことができ、即ち、１つ以上のコンピュータプログラムに実施され、当該１つ以上のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行および/または解釈されることができ、当該プログラマブルプロセッサは、専用または汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、および少なくとも１つの出力装置からデータおよび指令を受信し、且つデータおよび指令を当該記憶システム、当該少なくとも１つの入力装置、および当該少なくとも１つの出力装置に送信することができる。

これらの計算プログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとも呼ばれる）は、プログラマブルプロセッサのマシン指令を含み、高度なプロセスおよび／またはオブジェクトに向けたプログラミング言語、および／またはアセンブリ／マシン言語を利用してこれらの計算プログラムを実行することができる。本明細書で使用されたような用語「機械可読媒体」および「コンピュータ可読媒体」とは、機械指令および／またはデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、デバイス、および／または装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械可読信号である機械指令を受信する機械可読媒体を含む。用語「機械可読信号」とは、機械指令および／またはデータをプログラマブルプロセッサに提供するための任意の信号を指す。

ユーザとのインタラクティブを提供するために、ここで説明されたシステムおよび技術をコンピュータ上で実施することができ、当該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ）、キーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）を備え、ユーザーは、当該キーボードおよび当該ポインティングデバイスを介して入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクティブを提供するために使用されることもできる。例えば、ユーザに提供されたフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、任意の形態（声入力、音声入力、または触覚入力を含む）でユーザからの入力を受信してもよい。

ここで説明されたシステムおよび技術を、バックグラウンド部品を含む計算システム（例えば、データサーバー）、またはミドルウエア部品を含む計算システム（例えば、アプリケーションサーバー）、またはフロントエンド部品を含む計算システム（例えば、グラフィカルユーザインタフェースまたはネットワークブラウザを有するユーザコンピュータが挙げられ、ユーザーは、当該グラフィカルユーザインタフェースまたは当該ネットワークブラウザを介してここで説明されたシステムおよび技術の実施形態とインタラクティブに動作することができ）、またはこのようなバックグラウンド部品、ミドルウエア部品、またはフロントエンド部品の任意の組合せを含む計算システム上で実施することができる。システムの部品は、任意の形態またはメディアのデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されてもよい。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、およびインターネットを含む。

コンピュータシステムは、クライアントとサーバーとを含むことができる。クライアントとサーバーは、一般に互いに離れ、通常は通信ネットワークを介してインタラクティブに動作する。クライアントとサーバーとの関係は、対応するコンピュータ上で実行され、且つ互いにクライアントーサーバー関係を有するコンピュータプログラムによって生成される。

以上で示された様々な形態のフローを用いて、ステップを並べ替え、追加、または削除できることを理解すべきである。例えば、本発明に記載された各ステップは、並列的に実行されてもよいし、順次実行されてもよいし、異なる順序で実行されてもよく、本発明に開示された技術案の所望の結果が達成される限り、本明細書では制限しない。

上記具体的な実施形態は、本発明の保護範囲に対する制限を構成するものではない。当業者は、設計要件とその他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション、および代替を行うことが可能であることを理解すべきである。本発明の精神及び原則内でなされたいかなる修正、均等置換及び改善等は、いずれも本発明の保護範囲に含まれるべきである。
なお、出願当初の特許請求の範囲の記載は以下の通りである。
請求項１：
ターゲット画像を取得することと、
前記ターゲット画像をトリミング処理することにより、第１のトリミング画像を得ることと、
前記第１のトリミング画像の特徴を抽出することにより、特徴マップを得ることと、
前記特徴マップをトリミング処理することにより、第２のトリミング画像を得ることと、
前記第２のトリミング画像における歩行者を識別することにより、歩行者の検出結果を得ることと
を含む、歩行者を検出するための方法。
請求項２：
前記前記第１のトリミング画像の特徴を抽出することにより、特徴マップを得ることは、前記第１のトリミング画像の特徴を抽出し、抽出プロセスにおいて前記第１のトリミング画像をトリミング処理することにより、前記特徴マップを得ることを含む、請求項１に記載の方法。
請求項３：
前記前記第１のトリミング画像の特徴を抽出し、抽出プロセスにおいて前記第１のトリミング画像をトリミング処理することにより、前記特徴マップを得ることは、
前記第１のトリミング画像に対して少なくとも２回の畳み込み演算を行うことと、
少なくとも１回の畳み込み演算の後、得られた特徴マップに対して少なくとも１回のトリミング処理を行うことにより、前記特徴マップを得ることと
を含む、請求項２に記載の方法。
請求項４：
前記ターゲット画像を取得することは、車両に取り付けられたドライブレコーダーで収集された画像をターゲット画像とすることを含む、請求項１に記載の方法。
請求項５：
前記前記ターゲット画像をトリミング処理することにより、第１のトリミング画像を得ることは、前記ターゲット画像の上方のプリセット比率の領域をトリミングすることにより、前記第１のトリミング画像を得ることを含む、請求項１に記載の方法。
請求項６：
前記第２のトリミング画像のサイズは、前記ターゲット画像のサイズの１／２以上である請求項１に記載の方法。
請求項７：
ターゲット画像を取得するように構成される画像取得ユニットと、
前記ターゲット画像をトリミング処理することにより、第１のトリミング画像を得るように構成される第１のトリミングユニットと、
前記第１のトリミング画像の特徴を抽出することにより、特徴マップを得るように構成される特徴抽出ユニットと、
前記特徴マップをトリミング処理することにより、第２のトリミング画像を得るように構成される第２のトリミングユニットと、
前記第２のトリミング画像における歩行者を識別することにより、歩行者の検出結果を得るように構成される歩行者検出ユニットと
を含む、歩行者を検出するための装置。
請求項８：
前記特徴抽出ユニットは、前記第１のトリミング画像の特徴を抽出し、抽出プロセスにおいて前記第１のトリミング画像をトリミング処理することにより、前記特徴マップを得るようにさらに構成される、請求項７に記載の装置。
請求項９：
前記特徴抽出ユニットは、
前記第１のトリミング画像に対して少なくとも２回の畳み込み演算を行い、
少なくとも１回の畳み込み演算の後、得られた特徴マップに対して少なくとも１回のトリミング処理を行う
ことにより前記特徴マップを得るようにさらに構成される、請求項８に記載の装置。
請求項１０：
前記画像取得ユニットは、さらに、
車両に取り付けられたドライブレコーダーで収集された画像をターゲット画像とするように構成される、請求項７に記載の装置。
請求項１１：
前記第１のトリミングユニットは、前記ターゲット画像の上方のプリセット比率の領域をトリミングすることにより、前記第１のトリミング画像を得るようにさらに構成される、請求項７に記載の装置。
請求項１２：
前記第２のトリミング画像のサイズは、前記ターゲット画像のサイズの１／２以上である、請求項７に記載の装置。
請求項１３：
１つ以上のプロセッサと、
１つ以上のプログラムが記憶された記憶装置と
を含み、
前記１つ以上のプログラムが前記１つ以上のプロセッサによって実行されるとき、請求項１～６のいずれか１項に記載の方法を前記１つ以上のプロセッサに実現させる、電子デバイス。
請求項１４：
コンピュータプログラムが記憶されたコンピュータ可読媒体であって、前記コンピュータプログラムがプロセッサによって実行されるとき、請求項１～６のいずれか１項に記載の方法を実現する、コンピュータ可読媒体。
請求項１５：
コンピュータプログラムであって、前記コンピュータプログラムがプロセッサによって実行されるとき、請求項１～６のいずれか１項に記載の方法を実現する、コンピュータプログラム。

Claims (11)

1. ターゲット画像を取得することと、
   前記ターゲット画像をトリミング処理することにより、第１のトリミング画像を得ることと、
   前記第１のトリミング画像の特徴を抽出することにより、特徴マップを得ることと、
   前記特徴マップをトリミング処理することにより、第２のトリミング画像を得ることと、
   前記第２のトリミング画像における歩行者を識別することにより、歩行者の検出結果を得ることと
   を含み、
   前記第１のトリミング画像の特徴を抽出することにより、特徴マップを得ることは、
   前記第１のトリミング画像に対して、畳み込み演算を行って、中間特徴マップを得る畳み込み演算ステップと、
   前記中間特徴マップから、所定の割合の領域をトリミングして、第１の中間特徴マップを得る中間トリミングステップと、
   前記得られた第１の中間特徴マップを対象として前記畳み込み演算ステップ及び中間トリミングステップを実行する動作を所定の回数繰り返すステップと
   を含む、歩行者を検出するための装置により実行される方法。
2. 前記ターゲット画像を取得することは、車両に取り付けられたドライブレコーダーで収集された画像をターゲット画像とすることを含む、請求項１に記載の方法。
3. 前記前記ターゲット画像をトリミング処理することにより、第１のトリミング画像を得ることは、前記ターゲット画像の上方のプリセット比率の領域をトリミングすることにより、前記第１のトリミング画像を得ることを含む、請求項１に記載の方法。
4. 前記第２のトリミング画像のサイズは、前記ターゲット画像のサイズの１／２以上である請求項１に記載の方法。
5. ターゲット画像を取得するように構成される画像取得ユニットと、
   前記ターゲット画像をトリミング処理することにより、第１のトリミング画像を得るように構成される第１のトリミングユニットと、
   前記第１のトリミング画像の特徴を抽出することにより、特徴マップを得るように構成される特徴抽出ユニットと、
   前記特徴マップをトリミング処理することにより、第２のトリミング画像を得るように構成される第２のトリミングユニットと、
   前記第２のトリミング画像における歩行者を識別することにより、歩行者の検出結果を得るように構成される歩行者検出ユニットと
   を含み、
   前記特徴抽出ユニットは、
   前記第１のトリミング画像に対して、畳み込み演算を行って、中間特徴マップを得る畳み込み演算ステップと、
   前記中間特徴マップから、所定の割合の領域をトリミングして、第１の中間特徴マップを得る中間トリミングステップと、
   前記得られた第１の中間特徴マップを対象として前記畳み込み演算ステップ及び中間トリミングステップを実行する動作を所定の回数繰り返すステップと
   を含むことを行うことにより、特徴マップを得るように構成される、歩行者を検出するための装置。
6. 前記画像取得ユニットは、さらに、
   車両に取り付けられたドライブレコーダーで収集された画像をターゲット画像とするように構成される、請求項５に記載の装置。
7. 前記第１のトリミングユニットは、前記ターゲット画像の上方のプリセット比率の領域をトリミングすることにより、前記第１のトリミング画像を得るようにさらに構成される、請求項５に記載の装置。
8. 前記第２のトリミング画像のサイズは、前記ターゲット画像のサイズの１／２以上である、請求項５に記載の装置。
9. １つ以上のプロセッサと、
   １つ以上のプログラムが記憶された記憶装置と
   を含み、
   前記１つ以上のプログラムが前記１つ以上のプロセッサによって実行されるとき、請求項１～４のいずれか１項に記載の方法を前記１つ以上のプロセッサに実現させる、電子デバイス。
10. コンピュータプログラムが記憶されたコンピュータ可読媒体であって、前記コンピュータプログラムがプロセッサによって実行されるとき、請求項１～４のいずれか１項に記載の方法を実現する、コンピュータ可読媒体。
11. コンピュータプログラムであって、前記コンピュータプログラムがプロセッサによって実行されるとき、請求項１～４のいずれか１項に記載の方法を実現する、コンピュータプログラム。

Images