JP2024057114A - 検出装置、検出方法及びプログラム - Google Patents

Abstract

【課題】同期がとれている場合と同期がとれていない場合とで複数の認識手法を制御する。【解決手段】検出装置は、ターゲットに対する異なる情報を取得する複数のセンサと、プロセッサと、を備える。前記複数のセンサのそれぞれは、前記情報を取得したタイミングを出力する、タイミング出力部、を備える。前記プロセッサは、前記複数のセンサが前記情報を取得したタイミングが同期されているかを判定し、前記判定結果に基づいて、前記ターゲットの認識アルゴリズムを制御する。【選択図】図１

Description

本開示は、検出装置、検出方法及びプログラムに関する。

複数のセンサにおけるセンシング結果を用いてターゲットの認識を実現する装置の研究が、検査装置、自動車の車載装置その他分野において広く行われている。一般的に複数のセンサのすべてが正常に動作することは保証されておらず、異常値を判定し、異常値を出力したセンサ以外の情報に基づいてターゲットの認識を実現することがある。

しかしながら、このような装置においては、異常値を出力するセンサの検出、及び、当該異常値を反映させないように認識をすることは可能な一方で、これらの認識は、センサが同期して動作しているという条件の下に実現されていることが多い。このような場合には、センサの同期がとれていないため、異常値を省いたとしても、的確な認識結果が出力されるかは保証される者ではない。

特開2020-162765号公報

そこで、本開示では、センサ間の同期を検出し、同期がとれている場合と同期がとれていない場合とで認識手法を制御する検出装置、検出方法及びプログラムを提供する。

一実施形態によれば、検出装置は、ターゲットに対する異なる情報を取得する複数のセンサと、プロセッサと、を備える。前記複数のセンサのそれぞれは、前記情報を取得したタイミングを出力する、タイミング出力部、を備える。前記プロセッサは、前記複数のセンサが前記情報を取得したタイミングが同期されているかを判定し、前記判定結果に基づいて、前記ターゲットの認識アルゴリズムを制御する。

前記複数のセンサはさらに、前記ターゲットに対する特徴量を取得する、特徴量取得部、を備えてもよく、前記プロセッサは、前記複数のセンサから取得した前記特徴量に基づいて、前記ターゲットの認識処理を実行してもよい。

前記プロセッサは、前記複数のセンサにおいて、前記情報を取得したタイミングが同期している場合には、前記複数のセンサのうち、1又は複数の所定の前記センサの出力に基づいて、前記ターゲットに認識を実行してもよい。

前記プロセッサは、前記複数のセンサにおいて前記情報を取得したタイミングが同期していない場合には、優先センサからの出力を用い、かつ、前記優先センサ以外の前記センサからの出力を補助的に用いて前記ターゲットの認識を実行してもよい。

前記優先センサは、前記複数のセンサのうち精度の高い認識を実行できるセンサであってもよい。

前記複数のセンサに、少なくともRGBの情報を取得するカメラがある場合に、前記カメラを前記優先センサとしてもよい。

前記複数のセンサにおいて、前記情報を取得したタイミングが認識処理のフレームにおいて最も早いセンサを前記優先センサとしてもよい。

前記プロセッサは、補助的に用いる前記センサから出力される前記情報を、過去フレームに取得した情報に基づいて補間し、前記補間した情報を補助的に用いて前記ターゲットの認識を実行してもよい。

前記プロセッサは、前記複数のセンサにおいて前記情報を取得したタイミングが同期していない場合には、前記複数のセンサのうち、優先センサからの出力を用いて前記ターゲットの認識を実行してもよい。

前記優先センサは、前記複数のセンサのうち精度の高い認識を実行できるセンサであってもよい。

前記複数のセンサに、少なくともRGBの情報を取得するカメラがある場合に、前記カメラを前記優先センサとしてもよい。

前記複数のセンサにおいて、前記情報を取得したタイミングがフレームにおいて最も早いセンサを前記優先センサとしてもよい。

前記プロセッサは、複数の前記優先センサの出力を統合して認識を実行してもよい。

前記プロセッサは、前記複数の優先センサからの出力の統計量を用いて認識を実行してもよい。

一実施形態によれば、検出方法は、複数のセンサにより、ターゲットに対する異なる種類の情報を取得し、前記複数のセンサのそれぞれにおいて、前記情報を取得したタイミングを取得し、プロセッサにより、前記複数のセンサが前記情報を取得したタイミングが同期されているかを判定し、前記プロセッサにより、前記判定結果に基づいて、前記ターゲットの認識アルゴリズムを制御する。

一実施形態によれば、プログラムは、プロセッサに実行させると、複数のセンサにより取得されたターゲットに対する異なる種類の情報、及び、前記情報を取得したタイミングを取得し、前記複数のセンサが前記情報を取得したタイミングが同期されているかを判定し、前記判定結果に基づいて、前記ターゲットの認識アルゴリズムを制御する。

一実施形態に係る検出装置の概略の一例を示すブロック図。 一実施形態に係る検出装置の処理を示すフローチャート。 一実施形態に係る検出装置における情報取得タイミングとセンサ選択の一例を示す図。 一実施形態に係る検出装置の概略の一例を示すブロック図。 一実施形態に係る検出装置の処理を示すフローチャート。 一実施形態に係る検出装置における情報取得タイミングとセンサ選択の一例を示す図。 一実施形態に係る検出装置の処理を示すフローチャート。 一実施形態に係る検出装置の概略の一例を示すブロック図。 一実施形態に係る検出装置の処理を示すフローチャート。 一実施形態に係る検出装置における情報取得タイミングと識別処理の一例を示す図。 一実施形態に係るセンサの一例を模式的に示す図。 一実施形態に係るセンサの一例を模式的に示す図。 一実施形態に係るセンサの一例を模式的に示す図。

以下、図面を参照して本開示における実施形態の説明をする。図面は、説明のために用いるものであり、実際の装置における各部の構成の形状、サイズ、又は、他の構成とのサイズの比等が図に示されている通りである必要はない。また、図面は、簡略化して書かれているため、図に書かれている以外にも実装上必要な構成は、適切に備えるものとする。

(第1実施形態)
図1は、一実施形態に係る検出装置の概略の一例を示すブロック図である。検出装置1は、センサ10と、プロセッサ20と、を備える。例えば、検出装置1は、3つのセンサである、第1センサ10Aと、第2センサ10Bと、第3センサ10Cと、を備える。センサの数は、3つには限られず、2つでもよいし、4つ以上のセンサであってもよいし。

また、検出装置1は、必要に応じてデータを格納する記憶部を備えている。プロセッサにおける処理が、ソフトウェアによる情報処理がハードウェア資源を用いて具体的に実現される場合においては、記憶部にプロセッサが処理を実行するためのプログラム、オブジェクトファイル、実行ファイル等が格納されていてもよい。すなわち、以下に説明するプロセッサ20の処理は、プログラムにより記述されているものであってもよい。また、一部の処理がプログラムで実装され、一部の処理が専用回路により処理される形態であってもよい。

センサ10は、撮影部100と、特徴量取得部102と、撮影タイミング取得部104と、を備える。ここで、センサ10として、カメラ又はカメラに類したセンサであると仮定しているが、センサはこれに限定されるものではなく、他種のセンサであってもよい。例えば、超音波を取得するセンサであってもよい。この場合、撮影部ではなく、適切な情報を取得する、情報取得部であってもよい。

また、複数のカメラをセンサ10として備える場合には、異なる種類の情報を取得するカメラであってもよいし、異なる位置、姿勢で撮影する同じ種類の情報を取得するカメラであってもよい。すなわち、複数のセンサ10は、同じ対象(ターゲット)の複数の異なる情報を取得するデバイス、モジュールにより構成されてもよい。

撮影部100は、例えば、検出を行う範囲における状況を画像へ変換するための信号を取得する。撮影部100において、例えば、取得されたアナログ信号をデジタル信号に変換して出力してもよい。

特徴量取得部102は、撮影部100が取得した画像データにおける特徴量を抽出する。抽出は、例えば、ルールベースの演算により実行されてもよいし、CNN(Convolutional Neural Network)といった機械学習、例えば、各種ディープラーニングの手法、又は、ディープラーニングではない手法により訓練された訓練済みモデルを用いてもよい。訓練済みモデルは、CNNに限られるものではなく、他の限定されない一例として、MLP(Multi-Layer Perceptron)であってもよい。

なお、プロセッサ20に十分な処理能力があり、それぞれのセンサ10において撮影された画像データを、適切な時間内で適切に処理できるのであれば、特徴量取得部102は、センサ10ではなく、プロセッサ20に備えられていてもよい。

撮影タイミング取得部104は、センサ10が撮影をしたタイミング(撮影ではないセンシングの場合は、情報を取得したタイミング)を取得する。撮影タイミング取得部104は、撮影タイミングを、例えば、センサ10に備えられる時計に基づいた時刻情報として取得する。また別の例としては、センシングを始めた任意の時間において複数のセンサ間で同期をとり、この同期タイミングからのクロック数等を取得してもよい。

センサ10は、撮影部100画取得した情報又は特徴量取得部102が算出した特徴量と、撮影タイミング取得部104が取得した撮影タイミング情報と、をプロセッサ20へと出力する。

プロセッサ20は、センサ10と適切な入出力インタフェースを介して接続される処理回路であり、同期判定部200と、センサ選択部202と、センサ認識部204と、出力部206と、を備える。

同期判定部200は、複数のセンサ10(例えば、第1センサ10A、第2センサ10B及び第3センサ10C)から出力された撮影タイミング情報に基づいて、複数のセンサ10が適切に同期して撮影が実行されているかを判定する。

センサ選択部202は、同期判定部200の判定結果に基づいて、複数のセンサのうち、どのセンサからの出力を用いて認識処理を実行するかを選択する。このセンサ選択部202の処理の詳細については、後述する。図1においては、特徴量は、このセンサ選択部202に出力されているが、これには限られない。例えば、センサ選択部202が選択したセンサ10から出力された情報が、直接的に対応するセンサ認識部204に転送されてもよい。このように、センサ選択部202は、センサ10と対応するセンサ認識部204との間の経路を接続する態様であってもよい。

センサ認識部204は、それぞれのセンサ10から出力される画像データ又は特徴量データに基づいて、認識処理を実行する。センサ認識部204は、図に示すように、1つのセンサに対して1つ備えられてもよいし、複数のセンサに対して1つ備えられてもよい。図1の場合、第1センサ認識部204Aは、第1センサ10Aから出力された特徴量データに基づいて認識を実行する。同様に、第2センサ認識部204Bは、第2センサ10Bからの出力、第3センサ認識部204Cは、第3センサ10Cからの出力に基づいて、それぞれのセンサに対応する認識処理を実行する。

出力部206は、それぞれのセンサ認識部204から出力された認識結果に基づいて、ターゲットを検出したか否か、また、ターゲットの位置情報等の必要となる情報を出力する。

図2は、本実施形態に係る処理を示すフローチャートである。このフローチャートを用いて、検出装置1の処理、特に、センサ選択部202の処理について詳しく説明する。

まず、それぞれのセンサ10において情報を取得する(S100)。センサ10が図1に示されるようなカメラである場合には、それぞれのセンサ10において撮影を行う。その他の情報を取得するセンサであれば、それぞれの情報の取得を行う。

この処理に並行して、又は、この処理の前後のタイミングにおいて、それぞれのセンサ10における撮影タイミング取得部104は、撮影したタイミングを取得する(S102)。こちらの処理も、撮影に限られるものではなく、センサ10が情報を取得したタイミングを取得する処理である。

次に、取得した情報に基づいて特徴量がセンサ10内で生成できる場合、すなわち、特徴量取得部102がセンサ10に備えられる場合には、取得した情報の特徴量を生成する(S104)。

これらの情報は、センサ10からプロセッサ20へと転送される。転送される情報は、例えば、取得されたデータ(撮影された画像データ)、取得タイミング(撮影タイミング)及び特徴量のデータである。この他の情報に関しても、転送する帯域を逼迫しない範囲において転送されてもよい。

各種データが転送されたプロセッサ20は、全てのセンサ10が同期して情報を取得しているか否かを判定する(S106)。同期判定部200は、転送された撮影タイミングが一致するか否かを判定してこの同期の判定をしてもよい。また、厳密に一致するのではなく、プロセッサ20の処理フレームにおいて所定の範囲内(限定されない例では、±3フレーム等)に撮影された場合には、同期していると判定してもよい。

ここで、全てのセンサ10とは、検出装置1の処理を実現するための情報を出力するセンサであり、他の用途のセンサは除外されてもよい。例えば、本実施形態においては、検出装置1が物体認識を実行して検出を実現するので、全てのセンサ10とは、物体(ターゲット)の認識を実行するための情報を出力するセンサのことをいう。

また、ターゲットの認識においても、全ての撮影データを用いるか否かは設計により自由に変更できるものであり、例えば、本実施形態においても撮影するためのセンサ全てということに限定されない。例えば、撮影するためのセンサであるカメラが複数ある場合であっても、図1に示すように、特に3つのセンサ10を用いて物体認識を通常時において実行している場合には、これらの3つのセンサ10を全てのセンサ10と称する。

全てのセンサ10が同期して動作している、すなわち、全てのセンサ10の撮影タイミングがずれていない場合(S106: YES)、全てのセンサ10から出力された情報を用いて認識処理を実行する(S108)。この処理は、一般的に実行される認識処理におけるデータの統合、連結等と同様であるので、詳細は省略する。この場合、センサ選択部202は、全てのセンサに関する認識器を選択し、選択された第1センサ認識部204A、第2センサ認識部204B及び第3センサ認識部204Cにおいて認識が実行される。そして、この結果を統合することにより、認識結果を取得する。また、これには限られず、それぞれのセンサ10から出力された特徴量に基づいて、1つのセンサ認識部204(図示しない)が複数の特徴量、例えば、全てのセンサ10から出力された特徴量に基づいた認識を実行してもよい。

一方で全てのセンサ10が同期しないで動作している、すなわち、いずれか1つのセンサ10において、撮影タイミングにずれが生じている場合（S106: NO）、優先センサの情報から認識を実行する(S110)。センサ選択部202は、1つの優先センサを選択し、この優先センサに係るセンサ認識部204が認識を実行する。例えば、図1の例において、第1センサ10Aが優先センサとして選択されると、センサ選択部202は、第1センサ10Aのデータを用いて認識をする第1センサ認識部204Aを選択して認識を実行する。

優先センサは、センサ10の情報取得にずれがある場合に、認識を実行するのに優先的に選択されるセンサである。例えば、一般的な画像を扱う場合においては、RGBデータを取得するカメラを優先センサとしてもよい。RGBデータを取得するカメラが複数ある場合には、最も広角であるもの、最も正面を撮影するもの等、認識を適切に実現できるカメラを優先センサとしてもよい。

例えば、温度情報による認識が高精度である場合には、赤外線カメラを優先センサとしてもよい。例えば、動きによる認識を必要とする場合には、イベント駆動型のカメラを優先センサとしてもよい。優先センサの決定は、これらに限定されるものではなく、例えば、環境又は使用用途に応じて最も適切に認識が実現できるセンサ10を選択すればよい。

また、限定されない別の一例として、プロセッサ20における一連の認識処理の情報取得プロセスにおいて、最も早く入力されたデータを出力したセンサ10を優先センサとしてもよい。

このように、センサ選択部202は、センサ10における情報取得タイミングが同期しているか否かにより、認識を実行するセンサ10を選択することにより、認識アルゴリズムを制御する。

センサ選択部202により選択された認識部により認識された結果は、出力部206を介して適切に出力される(S112)。ここで、出力されるとは、プロセッサ20の外部に出力すること、また、プロセッサ20における他の処理に対して出力されることの双方を含む概念である。

図3は、情報取得のタイミングがずれている場合の情報取得のタイミングとセンサ選択部202が選択するセンサ10の一例を示す図である。図3において、第1センサ10Aは、RGBカメラ、第2センサ10Bは、Depthカメラ、第3センサ10Cは、偏光センサであるとする。検出装置1における認識処理を実行するスパンが上部に矢印で示されている。この時間内に、検出装置1は、認識処理を実行する。図に示す斜線入りの矩形は、情報取得のタイミングを示す。例えば、矩形の左下の矢印が情報取得のタイミングを表す。

図3の例では、第2センサ10Bの撮影タイミングは、認識処理において遅延無く取得でき、第1センサ10Aが少し遅延を有して撮影し、第3センサ10Cは、第1センサ10Aよりも遅延を有して撮影される。各センサの撮影タイミング取得部104は、例えば、これらの撮影開始のタイミングのタイムスタンプをそれぞれt1、t2、t3として取得して、このタイムスタンプの情報をプロセッサ20に送信する。プロセッサ20において、同期判定部200は、このタイムスタンプの情報に基づいて、同期がとれているか否かを判断する。

このような場合、センサ選択部202は、優先センサとして、RGBデータを取得する第1センサ10Aを選択し、第1センサ10Aの出力を用いて、第1センサ認識部204Aにより認識を実行してもよい。この場合、センサ選択部202が第1センサ10Aを選択すると、第1センサ10Aからの出力は、第1センサ認識部204Aへと転送され、認識処理が実行される。

別の例として、偏光情報が重要である場合、例えば、道路の状況、半導体ウエハの傷検出等である場合には、センサ選択部202は、第3センサ10Cを優先センサとして選択してもよい。

別の例として、センサ選択部202は、認識処理のスパンに一番適切なタイミングで撮影されている第2センサ10Bを選択してもよい。

いずれの場合においても、上記の第1センサ10Aが選択された場合と同様に、第2センサ認識部204B又は第3センサ認識部204Cに、適切に出力された情報が転送される。

このように、センサ選択部202は、適切に認識処理が実行できるように複数のセンサ10の内、1つのセンサ10を選択する。検出装置1は、選択されたセンサ10からの出力に基づいて認識を実行し、出力する。

センサ選択部202は、事前に準備されたデータにおいて認識精度が高くなるセンサ10を選択してもよいし、タイミングがずれていないセンサ10を選択してもよい。認識精度については、状況により検出装置1がどのセンサ10を用いるかを制御してもよい。例えば、天候、時間、周囲の明るさ等の周辺の環境、情報に基づいて、優先センサとして選択するセンサ10を切り替えてもよい。

センサ選択部202は、全てのセンサ10の情報取得の同期がとれるまでこの選択を続行する。同期がとれた後は、図2のフローチャートに示すように、全てのセンサ10からの出力に基づいて認識を実行してもよい。

以上のように、本実施形態によれば、複数のセンサを用いて認識、検出処理を実行する場合に、センサにおいてセンシングのタイミングを取得し、このタイミングに基づいてプロセッサによりセンサを選択して、当該選択されたセンサからの情報に基づいて認識処理を実行する。このような認識処理をすることにより、センサ同士の同期がとれていない場合には、時刻のずれた情報を用いて統合して精度を落とすのではなく、精度の高い認識を実行できるセンサからの情報により認識をし、センサ同士の同期がとれている場合には、複数のセンサの情報からより精度の高い認識、検出を実現することが可能となる。

(第2実施形態)
前述の第1実施形態においては、1つのセンサを用いるとしたが、これに限られるものではない。本実施形態に係る検出装置1は、センサ10間の同期がとれていない場合に、複数のセンサ10からの情報を用いて認識を実行する。

図4は、本実施形態に係る検出装置1を模式的に示すブロック図である。検出装置1のプロセッサ20は、センサ選択部の代わりに認識方法切替部208を備え、さらに、統合部210を備える。

認識方法切替部208は、センサ10同士が同期している場合と、同期していない場合とで認識方法を切り替える。また、同期していない場合においては、センサ10同士の同期状態に基づいて、さらに細かく認識方法を切り替えてもよい。

統合部210は、複数のセンサ10からの認識結果を統合する。統合部210は、認識方法切替部208により選択された認識方法に基づいて、選択されたセンサ認識部204からの出力を統合して出力する。

図5は、本実施形態に係る検出装置1の処理を示すフローチャートである。図2と同じ符号が付与されている処理は、同じ処理を実行する。

全てのセンサが同期していない場合(S106: NO)、第1実施形態と同様に、優先センサの情報から認識を実行する(S200)。しかしながら、この処理は、第1実施形態とは異なり、複数の優先センサからの情報に基づいて、複数のセンサ認識部204により実行される。

そこで、認識方法切替部208は、全てのセンサ10のうち、どのセンサ10を用いてどのような認識アルゴリズムを用いるかを制御する。認識方法切替部208は、認識アルゴリズムを切り替える処理として、複数の優先センサを選択して、選択された優先センサの組み合わせに基づいた認識アルゴリズムを選択する。そして、選択された優先センサに対応するセンサ認識部204により、それぞれの優先センサが出力する情報に基づいた認識を実行する。

優先センサの選択は、前述の実施形態と同様であってもよい。例えば、精度のよい認識を実行できるセンサ10を精度のよい方から所定個数選択したり、精度のよい認識のセンサ10に加えて情報取得のタイミングがよいセンサ10を加えたり、又は、タイミングがよいセンサ10を所定個数選択したりしてもよい。さらに前述の実施形態と同様に、周辺環境に応じて選択方法を変えてもよい。

統合部210は、複数の優先センサから出力され、認識処理が実行された結果を統合する(S202)。この統合処理は、前述の実施形態と同様に一般的に知られている手法を用いてもよい。また、例えば、セグメンテーションを用いたクラス分けにより認識をする場合には、ピクセルごとの多数決により認識結果を決定してもよいし、座標の推定の場合には、それぞれの認識結果の統計量(平均値、最頻値、中央値等)により認識結果を決定してもよい。別の例として、分類(Classification)のタスクを実行する場合には、このタスクに対して出力されたクラスの多数決により、認識結果を決定してもよい。さらに、これらを応用して、種々の結果を用いたセマンティックセグメンテーションを実装してもよい。

図6は、センサ10の出力及び識別処理のタイミングを示す図である。例えば、この図に示すように、第1センサ10Aと、第2センサ10Bの出力に基づいて認識をするとする。この場合、同期がとれていない判定がされ、第1センサ10Aと第2センサ10Bが認識に用いられるとする。

第2センサ10Bの出力及び同期していない判定がされた後、出力されたデータに基づいて第2センサ認識部204Bが識別を実行し、第1センサ10Aからの出力が終了した後に第1センサ認識部204Aが識別を実行する。この図に示すように、それぞれの処理は、その一部が並行して処理されてもよいし、パイプラインで処理されてもよい。

それぞれの識別が終わると、統合部210により、それぞれの出力が統合され、出力部206から出力される。

以上のように、本実施形態によれば、複数の優先センサを選択して、結果を統合することもできる。このような形態は、プロセッサにおいて、センサが同期していない場合のようにタイムラグがある状態で十分に処理時間が確保できる場合に適用してもよい。本実施形態においても、次に同期がとれるまで、同じ処理を続けてもよいし、認識の処理ごとに異なる認識処理を選択してもよい。

また、これには限られず、それぞれのセンサ10から出力された特徴量に基づいて、1つのセンサ認識部204が複数の特徴量、例えば、全てのセンサ10から出力された特徴量に基づいた認識を実行してもよい。例えば、2つ以上の特徴量を1つの認識部において認識することもできる。

さらには、1つの特徴量を2以上の認識部において認識することも可能である。一例として、3つの特徴量A、B、Cを用いる場合に、A、Bに共通した第2センサ認識部204Bと、A、Cに共通した第3センサ認識部204Cと、を備えていてもよい。この場合、第2センサ認識部204BにおけるA、Bからの1つの認識結果と、第3センサ認識部204CにおけるA、Cからの1つの認識結果を統合することもできる。別の例として、第2センサ認識部204BにおけるAからの認識結果とBからの認識結果、及び、第3センサ認識部204CにおけるA、Cからの1つの認識結果を統合してもよい。このように、認識に用いる特徴量の種類数と、認識結果の個数とが一致する必要は無く、任意に組み合わせることもでき、これらの認識結果を上記の手法を用いて統合してもよい。

前述の第1実施形態及び第2実施形態は、併せて適用することも可能である。図7は、一例に係る処理のフローチャートを示す。このように、S200までは同様に、第2実施形態と同様に、優先センサからの情報の認識処理を実行する。この後に、検出装置１は、複数センサを利用するか否かにより、処理を分岐させる(S204)。

複数センサを利用しない場合(S204: NO)には、第1実施形態と同様に、1つの優先センサからの情報を出力する。一方で複数センサを利用する場合(S204: YES)には、第2実施形態と同様に、認識結果を統合して(S202)、出力する(S112)。

このように、同期状態に基づいて、1の優先センサを使用するか、複数の優先センサを使用するかをさらに選択してもよい。例えば、十分な認識時間の確保が困難であったり、1つの優先センサによる認識で制度が十分に担保されたりする場合には、1つの優先センサの認識結果を出力してもよい。逆に、例えば、複数の優先センサの認識をするための処理時間を十分に確保できたり、1つの優先センサだけだと精度の問題があったりする場合には、複数の優先センサの認識結果を統合して出力してもよい。この他、上述したのと同じように、周辺の環境に合わせて、1つの優先センサを用いるか、複数の優先センサを用いるかを決定してもよい。

(第3実施形態)
前述の各実施形態においては、1つ又は複数の優先センサを選択して、それぞれのセンサにおいて同じ認識タイミング(図3、図6の認識実行スパン)における認識結果に基づいて出力を実行していたが、本開示の内容は、同一のセンサからの出力に基づいた時間的な補間を排除するものではない。本実施形態では、同期がずれた場合に、同じセンサ10の出力を補間する。

図8は、本実施形態に係る検出装置1を模式的に示すブロック図である。検出装置1のプロセッサ20は、補間指示部212と、補間部214と、認識部216と、を備える。

補間指示部212は、同期判定部200の判定結果に基づいて、それぞれのセンサ10からの出力する情報の補間を指示する。例えば、同期判定部200が同期していないと判定した場合に、それぞれのセンサ10の撮影タイミングを取得し、この撮影タイミングに基づいた補間をするように、補間部214に補間要求をする。

補間部214は、前述の実施形態におけるセンサ認識部204と同様に、図8のようにセンサ10を3つ備える場合には、第1補間部214Aと、第2補間部214Bと、第3補間部214Cと、を備える。補間部214は、補間指示部212から出力される補間要求に基づき、過去に取得されたそれぞれのセンサ10からの出力情報と、直近で取得したセンサ10からの出力情報と、を用いて補間されたデータを生成する。補間されたデータは、そのデータ同士が同じタイミングで撮影されたと見なすことのできるデータである。すなわち、センサ10同士の同期がされていない場合に、補間部214は、同期したタイミングで撮影したとみなすことのできる補間されたデータを生成する。

なお、補間する必要の無いセンサ10からの出力は、補間することなく用いることができる。また、検出装置１は、補間をするためのデータを格納するフレームメモリ等を備えていてもよい。

認識部216は、それぞれの補間部から出力されたデータ及び補間する必要が無いセンサからの出力に対してはセンサ10から出力されたデータを用いて、ターゲットの認識処理を実行する。

認識部216が認識した結果は、出力部206を介して出力される。

図9は、本実施形態における検出装置1の処理を示すフローチャートである。同じ符号が付されている処理は、基本的に第1実施形態と同様の処理である。

同期判定部200が全てのセンサ10が同期していないと判定した場合(S106: NO)、補間指示部は、それぞれのセンサ10に対応する補間部214にデータを補間する要求をし、それぞれの補間部214は、補間処理を実行する(S300)。

前述した第1実施形態と同様に、補間指示部212は、データの補間が必要とならない優先センサをまず決定する。その後、優先センサ以外のセンサ10に対応する補間部214に補間指令を送信する。例えば、第1センサ10Aを優先センサとした場合には、第2補間部214Bと、第3補間部214Cに、それぞれ、第2センサ10B、第3センサ10Cからの出力データを補間するように要求する。

要求を受けた補間部214は、現認識処理フレーム(図3の認識処理スパン)において取得されたデータと、直前の認識処理フレームにおいて取得されたデータと、に基づいて、補間処理を実行する。この補間処理は、優先センサの撮影タイミングに合わせるように他のセンサ10からの出力を補間する処理である。この処理も、センサ認識部204の処理と同様に、各種学習済みモデルを用いたり、ルールベースに基づいた処理をしたりすることにより実行される。

次に、認識部216は、優先センサからの出力情報及び補間された他のセンサ10からの出力情報に基づいて、認識を実行する(S302)。この認識は、複数種類のデータから認識を実現する、前述の実施形態におけるS108の処理と同等の処理により実現することができる。

このように、本実施形態においては、優先センサが撮影したタイミングに同期するタイミングとみなされるように補間された他のセンサ10のデータと、優先センサの出力データと、を用いて適切な処理を実行することが可能となる。

図10は、本実施形態に係る撮影タイミングと、他の処理のタイミングを示す図である。本図の例では、優先センサとして、認識処理フレームにおける最も早く撮影を実行したセンサ10を優先センサとする。この場合、第2センサが優先センサとして決定される。

補間指示部212は、第1センサ10A及び第3センサ10Cの出力を補間するように、第1補間部214A及び第3補間部214Cに指示を送信する。指示を受信した第1補間部214Aは、第1センサ10Aの撮影タイミングt1と、第2センサ10Bの撮影タイミングt2及び前の認識処理フレームの第1センサ10Aの撮影タイミングと、に基づいて、出力されたデータの補間処理を実行する。例えば、図の白矢印で示されるように、2つの出力データの間のデータとして、タイミングt2に合わせた補間処理を実行する。同様に、第3補間部214Cは、t3、t2及び前フレームの取得タイミングに基づいて、t2のタイミングにおけるデータを生成する。

これらの補間データと、優先センサである第2センサ10Bの取得したデータとに基づいて、認識部216が認識処理を実行する。このように、最も早いタイミングで撮影したセンサ10を優先センサとすると、過去フレームと現フレームとの間における補間データの生成であり、現フレームのデータに対して過去であるタイミングt2のデータを生成すればよいので、精度の高い補間データを生成することが可能となる。

なお、図10においては、最も早いタイミングで撮影したセンサ10を優先センサとしたが、これに限られるものではない。例えば、RGBデータの認識精度が高い場合には、RGBデータを補間しないで用いる、すなわち、RGBデータを出力する第1センサ10Aを優先センサとしてもよい。このように精度の高い認識結果を得られるセンサを優先センサとして選択してもよい。この場合、第2センサ10Bからの出力は、t2のタイミングに対して、未来であるt1の補間をすることになるが、動き予測等の手法によりこの将来の補間データを生成することが可能である。また、精度によらず、RGBデータを得られるセンサを優先センサとしてもよい。

これには限られず、情報の補間を実行するのが困難であるセンサ、最も撮影タイミングが遅れているセンサ等、他のセンサを優先センサとすることも可能である。また、図10においては、2フレーム間の補間であるが、さらに過去のフレームを用いて3フレーム間を用いた補間処理を実行してもよい。

以上のように、本実施形態によれば、同じタイミングに撮影されたとみなされるように補間データを生成することにより、センサによる撮影タイミングが同期した状態で認識処理を実現することが可能となる。前述の2つの実施形態と比較すると、同じタイミングとみなされる複数のセンサからの出力データを用いることが可能となり、認識の精度を向上させることができる。

前述の各実施形態において、限定されない例として、センサ10は、RGBセンサ、Depthセンサ、偏光センサをあげたが、センサの種類は、これに限られるものではない。例えば、赤外線センサ、温度センサな、イベント駆動センサ、ToFセンサ等の他の撮像素子を備えるセンサであってもよいし、超音波センサ、一部のToFセンサのように、画像情報を取得しないセンサであってもよい。

例えば、赤外線センサ等の温度に関するセンサであれば、暗所で人物等を検出したい場合に、温度情報からRGBデータ等を補間することができる。

例えば、イベント駆動センサであれば、監視カメラ等における動きを検知したい場合に、動きのある領域を詳しく解析することが可能である。

例えば、複数のDepthセンサを用いてもよく、この場合、ToFセンサの他に、パッシブステレオ方式、アクティブステレオ方式のセンサを用いることもできる。例えば、ToFセンサは、反射が多かったり、太陽光が強かったりする場合には、精度が落ちることがあるが、このような場合には他のセンサにより認識精度を向上させることができる。パッシブステレオ方式では、パターンがない場合や似たようなパターンが連続する場合、アクティブステレオセンサでは、パターンが取得しづらい場合や似たようなパターンが連続する場合には、対応しづらいが、ToFセンサで精度を向上させることができる。

このように、複数のセンサを用いて、同期しているか否かを判定して認識アルゴリズムを制御することにより、種々の状況において適切な精度の高い認識処理を実現することが可能となる。

なお、第3実施形態は、第1実施形態又は第2実施形態の少なくとも一方と併せて適用することもできる。例えば、フレーム補間したデータに対して、第2実施形態のように認識結果を統合したり、さらにこの統合において統計量を用いたりすることもできる。

本開示における検出装置1は、例えば、監視装置、工場等における検査装置、半導体プロセスの検査装置、車載カメラ、ロボット又はドローン等の自動運転向けの装置、その他のターゲットとなる物体の認識、検出を用いる装置に搭載することが可能である。

図11は、センサ10の模式的な実装例である。センサ10は、例えば、1つの半導体基板30上に実装されてもよい。半導体基板30は、例えば、撮像部300と、信号処理部302と、記憶部304を備える。撮像部300において取得されたデータは、信号処理部302へと適切な経路で伝達され、信号処理部302においてA/D変換、認識／補間処理(ニューラルネットワークによる処理)が実現され、適切なインタフェースを介して外部のプロセッサ20に出力されてもよい。

記憶部304には、認識を実行する適切なデータが格納される。なお、各回路の形状は、模式的に示したものであり、この例に限定されるものではなく、また、さらに必要となる回路が実装されていることを排除するものではない。例えば、他に、制御回路やさらなるロジック回路が実装されていてもよい。また、図示しないが、撮影タイミングを取得する撮影タイミング取得部も、この半導体基板30に実装される。制御回路がある場合には、撮影タイミング取得部は、制御部の一部として動作するものであってもよい。これらは、以下の例についても同様である。

図12は、センサ10の模式的な他の実装例である。センサ10は、例えば、2つの半導体基板31、32上に実装されてもよい。半導体基板31、32は、例えば、積層された半導体基板であり、それぞれの基板が適切に電気的に接続される。限定されない一例として、上方にある半導体基板31に撮像部300が備えられ、下方にある半導体基板32に信号処理部302と、記憶部304と、が備えられてもよい。

図13は、センサ10の模式的な他の実装例である。センサ10は、例えば、3つの半導体基板31、32、33上に実装されてもよい。半導体基板31、32、33は、例えば、積層された半導体基板であり、それぞれの基板が適切に電気的に接続される。限定されない一例として、半導体基板31には、撮像部300が、半導体基板32には、記憶部304が、半導体基板33には、信号処理部302がそれぞれ備えられていてもよい。

図12、図13において積層されている基板同士は、ビアホールで接続されてもよいし、マイクロダンプ等の他の方法で接続されてもよい。これらの基板の積層は、例えば、CoC(Chip on Chip)、CoW(Chip on Wafer)、又は、WoW(Wafer on Wafer)等の任意の手法で積層させることが可能である。

前述した実施形態は、以下のような形態としてもよい。

(1)
ターゲットに対する異なる情報を取得する複数のセンサと、
プロセッサと、
を備え、
前記複数のセンサのそれぞれは、
前記情報を取得したタイミングを出力する、タイミング出力部、
を備え、
前記プロセッサは、
前記複数のセンサが前記情報を取得したタイミングが同期されているかを判定し、
前記判定結果に基づいて、前記ターゲットの認識アルゴリズムを制御する、
検出装置。

(2)
前記複数のセンサはさらに、
前記ターゲットに対する特徴量を取得する、特徴量取得部、
を備え、
前記プロセッサは、
前記複数のセンサから取得した前記特徴量に基づいて、前記ターゲットの認識処理を実行する、
(1)に記載の検出装置。

(3)
前記プロセッサは、
前記複数のセンサにおいて、前記情報を取得したタイミングが同期している場合には、前記複数のセンサのうち、1又は複数の所定の前記センサの出力に基づいて、前記ターゲットに認識を実行する、
(1)又は(2)に記載の検出装置。

(4)
前記プロセッサは、
前記複数のセンサにおいて前記情報を取得したタイミングが同期していない場合には、優先センサからの出力を用い、かつ、前記優先センサ以外の前記センサからの出力を補助的に用いて前記ターゲットの認識を実行する、
(2)又は(3)に記載の検出装置。

(5)
前記優先センサは、前記複数のセンサのうち精度の高い認識を実行できるセンサである、
(4)に記載の検出装置。

(6)
前記複数のセンサに、少なくともRGBの情報を取得するカメラがある場合に、前記カメラを前記優先センサとする、
(4)又は(5)に記載の検出装置。

(7)
前記複数のセンサにおいて、前記情報を取得したタイミングが認識処理のフレームにおいて最も早いセンサを前記優先センサとする、
(4)に記載の検出装置。

(8)
前記プロセッサは、
補助的に用いる前記センサから出力される前記情報を、過去フレームに取得した情報に基づいて補間し、
前記補間した情報を補助的に用いて前記ターゲットの認識を実行する、
(4)から(7)のいずれかに記載の検出装置。

(9)
前記プロセッサは、
前記複数のセンサにおいて前記情報を取得したタイミングが同期していない場合には、前記複数のセンサのうち、優先センサからの出力を用いて前記ターゲットの認識を実行する、
(2)又は(3)に記載の検出装置。

(10)
前記優先センサは、前記複数のセンサのうち精度の高い認識を実行できるセンサである、
(9)に記載の検出装置。

(11)
前記複数のセンサに、少なくともRGBの情報を取得するカメラがある場合に、前記カメラを前記優先センサとする、
(9)又は(10)に記載の検出装置。

(12)
前記複数のセンサにおいて、前記情報を取得したタイミングがフレームにおいて最も早いセンサを前記優先センサとする、
(9)に記載の検出装置。

(13)
前記プロセッサは、
複数の前記優先センサの出力を統合して認識を実行する、
(4)から(7)又は(9)から(12)のいずれかに記載の検出装置。

(14)
前記プロセッサは、
前記複数の優先センサからの出力の統計量を用いて認識を実行する、
(13)に記載の検出装置。

(15)
複数のセンサにより、ターゲットに対する異なる種類の情報を取得し、
前記複数のセンサのそれぞれにおいて、前記情報を取得したタイミングを取得し、
プロセッサにより、前記複数のセンサが前記情報を取得したタイミングが同期されているかを判定し、
前記プロセッサにより、前記判定結果に基づいて、前記ターゲットの認識アルゴリズムを制御する、
検出方法。

(16)
プロセッサに実行させると、
複数のセンサにより取得されたターゲットに対する異なる種類の情報、及び、前記情報を取得したタイミングを取得し、
前記複数のセンサが前記情報を取得したタイミングが同期されているかを判定し、
前記判定結果に基づいて、前記ターゲットの認識アルゴリズムを制御する、
ことを実行させるプログラム。

本開示の態様は、前述した実施形態に限定されるものではなく、想到しうる種々の変形も含むものであり、本開示の効果も前述の内容に限定されるものではない。各実施形態における構成要素は、適切に組み合わされて適用されてもよい。すなわち、特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更及び部分的削除が可能である。

1: 検出装置、
10: センサ、
100: 撮影部、
102: 特徴量取得部、
104: 撮影タイミング取得部、
20: プロセッサ、
200: 同期判定部、
202: センサ選択部、
204: センサ認識部、
206: 出力部、
208: 認識方法切替部、
210: 統合部、
212: 補間指示部、
214: 補間部、
216: 認識部、
30、31、32、33: 半導体基板、
300: 撮像部、
302: 信号処理部、
304: 記憶部

Claims (18)

1. ターゲットに対する異なる情報を取得する複数のセンサと、
   プロセッサと、
   を備え、
   前記複数のセンサのそれぞれは、
   前記情報を取得したタイミングを出力する、タイミング出力部、
   を備え、
   前記プロセッサは、
   前記複数のセンサが前記情報を取得したタイミングが同期されているかを判定し、
   前記判定結果に基づいて、前記ターゲットの認識アルゴリズムを制御する、
   検出装置。
2. 前記複数のセンサはさらに、
   前記ターゲットに対する特徴量を取得する、特徴量取得部、
   を備え、
   前記プロセッサは、
   前記複数のセンサから取得した前記特徴量に基づいて、前記ターゲットの認識処理を実行する、
   請求項1に記載の検出装置。
3. 前記プロセッサは、
   前記複数のセンサにおいて、前記情報を取得したタイミングが同期している場合には、前記複数のセンサのうち、1又は複数の所定の前記センサの出力に基づいて、前記ターゲットに認識を実行する、
   請求項1に記載の検出装置。
4. 前記プロセッサは、
   前記複数のセンサにおいて前記情報を取得したタイミングが同期していない場合には、優先センサからの出力を用い、かつ、前記優先センサ以外の前記センサからの出力を補助的に用いて前記ターゲットの認識を実行する、
   請求項2に記載の検出装置。
5. 前記優先センサは、前記複数のセンサのうち精度の高い認識を実行できるセンサである、
   請求項4に記載の検出装置。
6. 前記複数のセンサに、少なくともRGBの情報を取得するカメラがある場合に、前記カメラを前記優先センサとする、
   請求項4記載の検出装置。
7. 前記複数のセンサにおいて、前記情報を取得したタイミングが認識処理のフレームにおいて最も早いセンサを前記優先センサとする、
   請求項4に記載の検出装置。
8. 前記プロセッサは、
   補助的に用いる前記センサから出力される前記情報を、過去フレームに取得した情報に基づいて補間し、
   前記補間した情報を補助的に用いて前記ターゲットの認識を実行する、
   請求項4に記載の検出装置。
9. 前記プロセッサは、
   前記複数のセンサにおいて前記情報を取得したタイミングが同期していない場合には、前記複数のセンサのうち、優先センサからの出力を用いて前記ターゲットの認識を実行する、
   請求項２に記載の検出装置。
10. 前記優先センサは、前記複数のセンサのうち精度の高い認識を実行できるセンサである、
    請求項9に記載の検出装置。
11. 前記複数のセンサに、少なくともRGBの情報を取得するカメラがある場合に、前記カメラを前記優先センサとする、
    請求項9に記載の検出装置。
12. 前記複数のセンサにおいて、前記情報を取得したタイミングがフレームにおいて最も早いセンサを前記優先センサとする、
    請求項9に記載の検出装置。
13. 前記プロセッサは、
    複数の前記優先センサの出力を統合して認識を実行する、
    請求項4に記載の検出装置。
14. 前記プロセッサは、
    前記複数の優先センサからの出力の統計量を用いて認識を実行する、
    請求項13に記載の検出装置。
15. 前記プロセッサは、
    複数の前記優先センサの出力を統合して認識を実行する、
    請求項9に記載の検出装置。
16. 前記プロセッサは、
    前記複数の優先センサからの出力の統計量を用いて認識を実行する、
    請求項15に記載の検出装置。
17. 複数のセンサにより、ターゲットに対する異なる種類の情報を取得し、
    前記複数のセンサのそれぞれにおいて、前記情報を取得したタイミングを取得し、
    プロセッサにより、前記複数のセンサが前記情報を取得したタイミングが同期されているかを判定し、
    前記プロセッサにより、前記判定結果に基づいて、前記ターゲットの認識アルゴリズムを制御する、
    検出方法。
18. プロセッサに実行させると、
    複数のセンサにより取得されたターゲットに対する異なる種類の情報、及び、前記情報を取得したタイミングを取得し、
    前記複数のセンサが前記情報を取得したタイミングが同期されているかを判定し、
    前記判定結果に基づいて、前記ターゲットの認識アルゴリズムを制御する、
    ことを実行させるプログラム。

Images