WO2020141588A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2020141588A1
WO2020141588A1 PCT/JP2019/048322 JP2019048322W WO2020141588A1 WO 2020141588 A1 WO2020141588 A1 WO 2020141588A1 JP 2019048322 W JP2019048322 W JP 2019048322W WO 2020141588 A1 WO2020141588 A1 WO 2020141588A1
Authority
WO
WIPO (PCT)
Prior art keywords
detector
target
information processing
detection result
sensing data
Prior art date
Application number
PCT/JP2019/048322
Other languages
English (en)
French (fr)
Inventor
育規 石井
拓也 山口
洋平 中田
亮太 藤村
宗太郎 築澤
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to JP2020563864A priority Critical patent/JP7407738B2/ja
Priority to EP19907542.5A priority patent/EP3907721A4/en
Priority to CN201980045420.2A priority patent/CN112424849B/zh
Publication of WO2020141588A1 publication Critical patent/WO2020141588A1/ja
Priority to US17/149,269 priority patent/US11481990B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

情報処理装置（１００）は、プロセッサを備える情報処理装置であって、プロセッサは、第１センシングデータにおける第１ターゲットを検出するための第１検出器（２０）の検出結果を取得し、第１検出器（２０）の検出結果に基づいて、第１センシングデータの次に順序付けられた第２センシングデータにおける第１ターゲットとは異なる第２ターゲットを検出するための第２検出器（３０）の処理の設定を決定する。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　画像中の物体を検出する技術において、物体の検出精度を向上させる技術が提案されている。例えば、特許文献１では、検出器が出力する応答の特徴と最適な閾値との対応関係を回帰モデルで訓練させて、検出器の応答の特徴に応じて閾値を切り替える技術が開示されている。
米国特許出願公開第２０１３／００３４２６３号明細書
　しかしながら、特許文献１に記載の従来技術は、上記対応関係の訓練が収束しない場合に、適切な閾値を設定することができず、誤検出又は未検出が発生すなわち検出性能が低下するおそれがある。例えば、単一の検出器では、検出対象すなわちターゲットの状態などのケースによって応答が安定しないことがある。応答が安定しないと上記対応関係の訓練は収束しにくいと考えられる。
　そこで、本開示は、物体検出の性能を安定的に向上させることができる情報処理装置、情報処理方法及びプログラムを提供する。
　上記課題を解決するため、本開示の一態様に係る情報処理装置は、プロセッサを備える情報処理装置であって、前記プロセッサは、第１センシングデータにおける第１ターゲットを検出するための第１検出器の検出結果を取得し、前記第１検出器の検出結果に基づいて、前記第１センシングデータの次に順序付けられた第２センシングデータにおける前記第１ターゲットとは異なる第２ターゲットを検出するための第２検出器の処理の設定を決定する。
　また、本開示の一態様に係る情報処理装置は、プロセッサを備える情報処理装置であって、前記プロセッサは、第１センシングデータにおける第１ターゲットを検出するための第１検出器の検出結果を取得し、前記第１検出器の検出結果に基づいて、（ｉ）前記第１センシングデータの次に順序付けられた第２センシングデータにおける前記第１ターゲットとは異なる第２ターゲットを検出するための第２検出器の処理結果に基づく検出結果及び前記第１検出器の第２センシングデータにおける検出結果からいずれかの検出結果を選択する、又は、（ｉｉ）前記第２検出器の検出結果と前記第１検出器の第２センシングデータにおける検出結果との統合のさせ方を決定する。
　また、本開示の一態様に係る情報処理方法は、コンピュータに実行させるための方法であって、第１センシングデータにおける第１ターゲットを検出するための第１検出器の検出結果を取得し、前記第１検出器の検出結果に基づいて、前記第１センシングデータの次に順序付けられた第２センシングデータにおける前記第１ターゲットとは異なる第２ターゲットを検出するための第２検出器の処理の設定を決定する。
　また、本開示の一態様は、上記情報処理方法をコンピュータに実行させるためのプログラムとして実現することができる。あるいは、当該プログラムを格納したコンピュータで読み取り可能な非一時的な記録媒体として実現することもできる。
　本開示によれば、物体検出の性能を安定的に向上させることができる。
図１は、実施の形態１に係る情報処理装置の構成の一例を示すブロック図である。 図２は、実施の形態１に係る情報処理装置の動作の一例を示すフローチャートである。 図３は、図２のステップＳ２００６の処理の詳細なフローチャートである。 図４は、実施の形態１に係る情報処理装置の動作の一例を模式的に説明するための図である。 図５は、実施の形態１の変形例１に係る情報処理装置の動作の一例を模式的に説明するための図である。 図６は、実施の形態１の変形例２に係る情報処理装置の動作の一例を模式的に説明するための図である。 図７は、実施の形態２に係る情報処理装置の構成の一例を示すブロック図である。 図８は、実施の形態２に係る情報処理装置の算出部及び補正部の動作の一例を示すフローチャートである。 図９は、図８のステップＳ８００２の処理の詳細なフローチャートである。 図１０は、実施の形態２に係る情報処理装置の動作の一例を模式的に説明するための図である。
　（本開示に至った知見）
　従来、画像中の物体を検出する技術において、検出対象の物体に関する多数の正事例及び負事例のサンプル画像から物体の局所的な形状特徴を検出するように機械学習モデルを訓練することにより、任意のシーンにおいて、比較的良好に物体を検出することができる。しかしながら、例えば、防犯カメラ又は車載カメラなどの屋外環境で使用されるカメラから得られる画像のように、天候又は照明の変動などによる影響を受けやすい状況では、検出器の検出感度が低下することが多い。例えば、雨天状況では、路面の水たまりで照明の光が反射して、物体の候補枠の縦幅が路面方向に延びることにより、又は、ホワイトアウトにより、物体を検出することができない場合がある。
　また、例えば、検出対象が同じ種類の物体であっても、物体の向き又は姿勢によっては、検出されにくくなる場合がある。例えば、歩行者が転倒した場合に、転倒した歩行者（つまり、横たわった姿勢の歩行者）は、歩行者の陰であると誤検知されることが多い。このように、同じ検出対象であっても検出されにくい場合がある。
　また、検出器の検出精度を高めるために、機械学習モデルの隠れ層の数を増やすことが知られているが、例えば、車載カメラシステムなどのように、組み込み装置に検出器を実装する場合、処理量に制限があるため、検出器の処理量を増やすことは難しい。
　そこで、本願発明者は、上記課題を鑑み鋭意検討した結果、例えば２つの検出器を用い、一方の検出器の検出結果に基づいて、他方の検出器の閾値又は検出モデルなどの処理の設定を決定することにより、物体検出の性能を安定的に向上させることができることを見出した。
　本開示の一態様の概要は、以下の通りである。
　本開示の一態様に係る情報処理装置は、プロセッサを備える情報処理装置であって、前記プロセッサは、第１センシングデータにおける第１ターゲットを検出するための第１検出器の検出結果を取得し、前記第１検出器の検出結果に基づいて、前記第１センシングデータの次に順序付けられた第２センシングデータにおける前記第１ターゲットとは異なる第２ターゲットを検出するための第２検出器の処理の設定を決定する。
　これにより、第２センシングデータよりも前の第１センシングデータにおいて第１ターゲットが検出されたという事前情報に基づいて、第２センシングデータにおける第２ターゲットを検出するための第２検出器の処理の設定を決定ことができる。そのため、第２センシングデータにおける第２ターゲット、すなわち検出対象の検出精度を向上することができる。したがって、検出性能を安定的に向上させることができる。
　例えば、本開示の一態様に係る情報処理装置では、前記プロセッサは、前記第１検出器の検出結果と前記第２検出器の検出結果の候補との関係に基づいて、前記第２検出器の処理の設定を決定してもよい。
　これにより、第１検出器の検出結果に加えて、第２検出器の検出結果の候補を用いるため、第２検出器の処理の設定をより適切に実行することができる。そのため、第２センシングデータにおける第２ターゲットの検出精度をさらに向上することができる。
　例えば、本開示の一態様に係る情報処理装置では、前記関係は、前記第１検出器で検出された前記第１ターゲットの領域と、前記第２検出器で検出される前記第２ターゲットの候補の領域との距離であってもよい。
　これにより、第１センシングデータにおいて検出された第１ターゲットと、第１センシングデータの次に順序付けられた第２センシングデータにおいて検出された第２ターゲットとの類似性に基づいて、第２ターゲットを検出することができる。そのため、より精度良く第２ターゲットを検出することができる。
　例えば、本開示の一態様に係る情報処理装置は、前記プロセッサは、前記第１センシングデータにおいて前記第１ターゲットが検出されたか否かに応じて、前記第２検出器の前記処理の設定を決定してもよい。
　これにより、第１センシングデータにおいて第１ターゲットが検出されたか否かに応じて、第２検出器の処理の設定を決定することができるため、検出性能が安定的に維持されやすくなる。
　例えば、本開示の一態様に係る情報処理装置では、前記プロセッサは、前記第２センシングデータにおいて前記第１ターゲットが検出されたか否かに応じて、前記第２検出器の前記処理の設定を決定してもよい。
　これにより、第１センシングデータにおいて第１ターゲットが検出されたか否かという事前情報に加え、第１センシングデータの次に順序付けられた第２センシングデータにおいて第１ターゲットが検出されたか否かという情報に基づいて、第２検出器の処理の設定を決定することができる。そのため、第２ターゲットの検出精度をより高めることができる。
　例えば、本開示の一態様に係る情報処理装置では、前記プロセッサは、前記第１センシングデータにおいて前記第１ターゲットが検出される場合、前記第２検出器の前記処理の設定を決定してもよい。
　これにより、第２センシングデータよりも前の第１センシングデータにおいて第１ターゲットが検出されたという事前情報に基づいて、第２センシングデータにおける第２ターゲットを検出するための第２検出器の処理の設定を決定ことができる。そのため、第２センシングデータにおける第２ターゲットの検出精度を向上することができる。
　例えば、本開示の一態様に係る情報処理装置では、前記プロセッサは、さらに、前記第２センシングデータにおいて前記第１ターゲットが検出されない場合に、前記第２検出器の前記処理の設定を決定してもよい。
　これにより、第１センシングデータにおいて第１ターゲットが検出されたという事前情報に加え、第１センシングデータの次に順序付けられた第２センシングデータにおいて第１ターゲットが検出されないという情報に基づいて、第２センシングデータにおいて第２ターゲットを検出するための第２検出器の処理の設定を決定することができる。そのため、第２ターゲットの検出精度をより高めることができる。
　例えば、本開示の一態様に係る情報処理装置では、前記プロセッサは、前記第１センシングデータにおいて前記第１ターゲットが検出されなくなった場合、前記第２検出器の前記処理の設定を決定してもよい。
　これにより、第１センシングデータにおいて第１ターゲットが検出されなくなったという情報に基づいて、第２センシングデータにおいて第２ターゲットを検出するための第２検出器の処理の設定を決定することができる。そのため、第２ターゲットの検出精度をより高めることができる。
　例えば、本開示の一態様に係る情報処理装置では、前記処理の設定は、前記処理に用いられるパラメタであってもよい。より具体的には、前記処理に用いられるパラメタは、前記第２ターゲットに対する尤度閾値、尤度の補正値、又は、検出判定のためのデータ数であるトラッキング閾値であってもよい。
　これにより、第２検出器の第２ターゲットに対する検出感度を向上することができる。
　例えば、本開示の一態様に係る情報処理装置では、前記処理の設定は、前記第２検出器の処理に割り当てられる計算リソースであってもよい。
　これにより、第１センシングデータにおける第１ターゲットの検出結果に応じて、第２検出器の処理に割り当てる計算リソースを決定することができるため、第２ターゲットの検出感度を高める必要がある場合に、処理量の大きい検出モデルに切り替えることができる。そのため、処理量を低減しつつ、第２検出器の処理能力を向上することができる。
　例えば、本開示の一態様に係る情報処理装置では、前記処理の設定は、前記第２検出器の選択であってもよい。例えば、前記処理の設定は、前記第２検出器に入力されるデータの解像度又はサイズであってもよい。
　これにより、第２検出器の検出性能を向上することができる。
　例えば、本開示の一態様に係る情報処理装置では、前記第１ターゲットと前記第２ターゲットとは、種類が同じで姿勢が異なる物体であってもよい。
　これにより、第１ターゲット及び第２ターゲットのように姿勢の異なる同じ種類の物体を検出することにより、姿勢の違いによる検出感度の低下を低減することができる。
　また、本開示の一態様に係る情報処理装置は、プロセッサを備える情報処理装置であって、前記プロセッサは、第１センシングデータにおける第１ターゲットを検出するための第１検出器の検出結果を取得し、前記第１検出器の検出結果に基づいて、（ｉ）前記第１センシングデータの次に順序付けられた第２センシングデータにおける前記第１ターゲットとは異なる第２ターゲットを検出するための第２検出器の処理結果に基づく検出結果及び前記第１検出器の第２センシングデータにおける検出結果からいずれかの検出結果を選択する、又は、（ｉｉ）前記第２検出器の検出結果と前記第１検出器の第２センシングデータにおける検出結果との統合のさせ方を決定する。
　これにより、第１検出器の検出精度が安定しない場合に、前記第１検出器の第１センシングデータにおける検出結果に基づいて、第２検出器の第２センシングデータに対する処理を決定することができる。そのため、第１検出器が第２センシングデータにおける第１ターゲットを精度良く検出できない場合に、上記の第２検出器の処理結果に基づく検出結果を用いて、前記第１検出器の第２センシングデータにおける検出結果を補完することができる。
　例えば、本開示の一態様に係る情報処理装置では、前記プロセッサは、前記第１センシングデータにおける前記第１ターゲットの検出結果と、前記第２センシングデータにおける前記第１ターゲットの検出結果との間の変化の大きさを算出し、前記変化の大きさに基づいて前記（ｉ）又は前記（ｉｉ）を実行してもよい。例えば、前記変化の大きさは、前記第１センシングデータにおける前記第１ターゲットの検出結果と、前記第２センシングデータにおける前記第１ターゲットの検出結果との、センシングデータにおける特定の方向の変化の大きさであり、前記プロセッサは、前記特定の方向の変化の大きさに応じて、前記（ｉ）において、前記第２検出器の処理結果に基づく検出結果及び前記第１検出器の第２センシングデータにおける検出結果からいずれかの検出結果を選択する、又は、前記（ｉｉ）において、前記第２検出器の前記検出結果及び前記第１検出器の検出結果の前記統合における重みを決定してもよい。
　これにより、第１検出器の検出結果のばらつきに基づいて、第１ターゲットの検出処理における第２検出器の検出結果の重要度を切り替えることができる。そのため、第１ターゲットの検出精度を向上することができる。
　例えば、本開示の一態様に係る情報処理装置では、前記第１ターゲットと前記第２ターゲットとは、種類が同じで部分が異なる物体であってもよい。
　これにより、第２ターゲットの候補枠を縦方向に拡張する（例えば、Ｘ倍にする）ことにより、第１ターゲットの候補枠に相当すると推定される候補枠を生成することができる。例えば、第１ターゲットの検出結果が安定しない場合に、第２ターゲットの検出結果を利用して、第１ターゲットの検出結果を補うことができるため、第１ターゲットの検出精度の低下を低減することができる。
　また、本開示の一態様に係る情報処理方法は、コンピュータに実行させるための方法であって、第１センシングデータにおける第１ターゲットを検出するための第１検出器の検出結果を取得し、前記第１検出器の検出結果に基づいて、前記第１センシングデータの次に順序付けられた第２センシングデータにおける前記第１ターゲットとは異なる第２ターゲットを検出するための第２検出器の処理の設定を決定する。
　これにより、第２センシングデータよりも前の第１センシングデータにおいて第１ターゲットが検出されたという事前情報に基づいて、第２センシングデータにおける第２ターゲットを検出するための第２検出器の処理の設定を決定ことができる。そのため、第２センシングデータの検出精度を向上することができる。
　また、本開示の一態様は、上記情報処理方法をコンピュータに実行させるためのプログラムとして実現することができる。あるいは、当該プログラムを格納したコンピュータで読み取り可能な非一時的な記録媒体として実現することもできる。
　以下では、実施の形態について、図面を参照しながら具体的に説明する。
　なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する趣旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、例えば、各図において縮尺などは必ずしも一致しない。また、各図において、実質的に同一の構成については同一の符号を付しており、重複する説明は省略又は簡略化する。
　また、本明細書において、水平又は垂直などの要素間の関係性を示す用語、並びに、数値範囲は、厳密な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度の差異を含むことを意味する表現である。
　（実施の形態１）
　以下、実施の形態１に係る情報処理装置について説明する。
　［構成］
　図１は、実施の形態１に係る情報処理装置１００の構成の一例を示すブロック図である。図１に示されるように、情報処理装置１００は、入力部１０と、第１検出器２０と、第２検出器３０と、検出結果記憶部４０と、算出部５０と、補正部６０と、出力部７０とを含んで構成される。
　情報処理装置１００は、例えば、プロセッサとメモリとを含んで構成されるコンピュータによって実現されてもよい。この場合、情報処理装置１００の各構成要素は、例えば、プロセッサがメモリに記憶される１以上のプログラムを実行することで実現されてもよい。また、情報処理装置１００は、例えば、それぞれがプロセッサとメモリとを含んで構成される、互いに通信可能な複数のコンピュータが協調して動作することによって実現されてもよい。この場合、情報処理装置１００の各構成要素は、例えば、いずれかの１以上のプロセッサが、いずれかの１以上のメモリに記録される、１以上のプログラムを実行することで実現されてもよい。ここでは、情報処理装置１００は、プロセッサとメモリとを含んで構成されるコンピュータによって実現されるとして説明する。
　入力部１０は、少なくとも１つのセンシングデータを取得し、取得したセンシングデータを、第１検出器２０及び第２検出器３０に入力する。入力部１０は、例えば、有線又は無線により通信可能に接続されたセンサ又は記録媒体からセンシングデータを取得してもよい。ここでは、少なくとも１つのセンシングデータは、イメージセンサを備える撮像装置が撮像する少なくとも１つの画像であるとして説明する。
　入力部１０は、例えば、撮像装置から画像を取得し、取得した画像を第１検出器２０及び第２検出器３０のそれぞれに入力する。また、入力部１０は、複数の画像から構成される動画像を取得し、各画像を第１検出器２０及び第２検出器３０のそれぞれに入力してもよい。
　情報処理装置１００は、第１画像における第１ターゲット（以下、第１検出対象）を検出する第１検出器２０の検出結果を取得し、第１検出器２０の検出結果に基づいて、第１画像の次に順序付けられた第２画像における第１検出対象とは異なる第２ターゲット（以下、第２検出対象）を検出するための第２検出器３０の処理の設定を決定する。第２画像は、第１画像の次のフレームの画像であってもよく、第１画像の２フレーム以上後の画像であってもよい。つまり、第２画像は、一連の画像において、第１画像の時間的に次の画像であってもよく、検出処理に供される順番において第１画像の次の画像であってもよい。
　第１検出器２０及び第２検出器３０は、共に、複数の画像のそれぞれにおける検出対象を検出する。第１検出器２０は、画像中の第１検出対象を検出するように機械学習を用いて訓練される機械学習モデルである。また、第２検出器３０は、画像中の第２検出対象を検出するように機械学習を用いて訓練される機械学習モデルである。第１検出器２０及び第２検出器３０は、それぞれ異なる機械学習モデルであってもよく、１つの機械学習モデルであってもよい。
　第１検出対象と第２検出対象とは、種類が同じで姿勢が異なる物体である。第２検出対象は、第１検出対象よりも検出されにくい、言い換えると、誤検出されやすい姿勢の物体であってもよい。例えば、第１検出対象は、立っている姿勢の人物であり、第２検出対象は、横たわっている姿勢の人物である。これらの人物は、同一の人物であってもよく、異なる人物であってもよい。
　検出結果記憶部４０は、第１検出器２０の検出結果を格納する。当該検出結果では、第１検出器２０に入力された画像と、当該画像において検出された検出枠の第１検出対象に対する尤度、当該検出枠の画像における座標、当該検出枠の大きさ、及び、各画像における検出枠の大きさのばらつきなどの情報とが紐づけられている。検出結果記憶部４０には、第１検出対象が検出された画像の検出結果に限らず、第１検出器２０が検出処理を実行した全ての画像の検出結果が格納されてもよい。
　算出部５０は、検出結果記憶部４０から第１検出器２０の検出結果を読み出し、第２検出器３０の処理の設定を決定するための情報を算出する。例えば、算出部５０は、第２検出器３０で検出される第２検出対象の領域の候補（言い換えると、候補枠）の情報を取得する。そして、算出部５０は、取得した第１検出器２０の検出結果と第２検出器３０の検出結果の候補との関係を算出する。より具体的には、算出部５０は、第１画像において第１検出対象が検出された場合、第１検出器２０で検出された第１検出対象の領域（すなわち検出枠）と、第２検出器３０で検出される第２検出対象の候補枠との距離を算出する。当該距離は、例えば、第１検出器２０によって第１画像で検出された第１検出対象の領域と、第２検出器３０によって第２画像で検出される第２検出対象の候補枠との重なり率、又は、重心間の距離である。
　補正部６０は、第１検出器２０の検出結果に基づいて（言い換えると、算出部５０が算出した結果に基づいて）、第２画像における第２検出対象を検出するための第２検出器３０の処理の設定を決定する。処理の設定は、第２検出器３０の処理に用いられるパラメタである。処理に用いられるパラメタは、例えば、第２検出対象に対する尤度閾値、尤度の補正度、又は、検出判定のためのデータ数であるトラッキング閾値である。また、補正部６０は、第１検出器２０の検出結果と、第２検出器３０の検出結果の候補との関係に基づいて、第２検出器３０の処理の設定を決定してもよい。上述したように、当該関係は、第１検出器２０で検出された第１検出対象の領域と、第２検出器３０で検出される第２検出対象の候補の領域との距離である。
　以下、本実施の形態では、第２検出器３０の処理に用いられるパラメタは、第２検出対象に対する尤度閾値（以下、単に、閾値ともいう）であるとして説明する。
　補正部６０は、第１画像において第１検出対象が検出されたか否かに応じて、第２検出器３０の閾値を決定する。さらに、補正部６０は、第２画像において第１検出対象が検出されたか否かに応じて、第２検出器３０の閾値を決定してもよい。例えば、補正部６０は、第１画像で第１検出対象が検出される場合、第２画像で第２検出対象が検出される確率が高くなるように、第２検出器３０の閾値を決定してもよい。また、例えば、補正部６０は、第１画像で第１検出対象が検出され、かつ、第２画像において第１検出対象が検出されない場合に、第２画像で第２検出対象が検出される確率が高くなるように、第２検出器３０の閾値を決定してもよい。補正部６０は、決定した第２検出器３０の閾値を第２検出器３０に出力する。
　第２検出器３０は、補正部６０が決定した閾値を取得して更新する。第２検出器３０は、閾値を更新すると、更新された閾値に基づいて、第２画像における第２検出対象の検出を行う。第２検出器３０は、閾値を更新して得られた検出結果を出力部７０に出力する。
　上記の例では、補正部６０が決定した閾値を第２検出器３０が取得して更新するが、このとき、補正部６０は、決定した閾値を変換テーブルに入力して第２検出器３０の検出結果を補正し、補正後の検出結果を出力部７０に出力してもよい。
　出力部７０は、各画像に対する、第１検出器２０の検出結果と、第２検出器３０の検出結果とを、出力する。出力部７０は、これらの検出結果を提示部（不図示）に出力してもよく、情報処理装置１００以外の他の装置に出力してもよい。例えば、出力部７０は、操作部（不図示）に入力されたユーザの操作に基づいて、検出結果に基づく情報を提示部に提示させる。操作部は、例えば、キーボード、マウス、タッチパネル、ボタン、又は、マイクなどである。提示部は、例えば、ディスプレイ又はスピーカーなどである。なお、情報処理装置１００は、操作部及び提示部を備えていてもよく、備えていなくてもよい。操作部及び提示部は、例えば、情報処理装置１００以外の他の装置が備えていてもよい。情報処理装置１００以外の他の装置は、例えば、スマートフォン、タブレット、又は、コンピュータなどの情報端末であってもよい。また、情報処理装置１００は、コンピュータを例に挙げたが、インターネットなどの通信ネットワークを介して接続されるサーバ上に設けられてもよい。
　［動作］
　続いて、実施の形態１に係る情報処理装置１００の動作の一例について図２～図４を参照しながら説明する。図２は、実施の形態１に係る情報処理装置１００の動作の一例を示すフローチャートである。図３は、図２のステップＳ２００６の処理の詳細なフローチャートである。図４は、実施の形態１に係る情報処理装置１００の動作の一例を模式的に説明するための図である。
　情報処理装置１００は、例えば、イメージセンサなどのセンサから動画像を取得し、動画像に含まれる複数の画像のそれぞれを第１検出器２０及び第２検出器３０に入力する。第１検出器２０は、入力された画像における第１検出対象を検出し、第２検出器３０は、入力された画像における第１検出対象とは異なる第２検出対象を検出する。
　ここでは、図２及び図４に示されるように、情報処理装置１００は、複数の画像のうちのｎ番目（ｎ≧２の整数）のフレームの画像を処理する例を説明する。
　図２に示されるように、情報処理装置１００は、センサから取得した複数の画像のうち、ｎフレーム目の画像（以下、第２画像）を第１検出器２０及び第２検出器３０に入力する（ステップＳ２００１）。上述したように、第１検出器２０及び第２検出器３０は、それぞれ、機械学習モデルであり、例えば、畳み込みニューラルネットワークである。
　第１検出器２０は、第２画像における第１検出対象の検出処理を実行する（ステップＳ２００２）。このとき、第１検出器２０は、入力された第２画像における複数の候補枠を検出し、検出された各候補枠の第１検出対象に対する尤度を算出する。第１検出器２０は、各候補枠について、第１検出対象に対する尤度が閾値以上であるか否か判定し、閾値以上の候補枠のうち、例えば、最大尤度を示す候補枠を第１検出対象の検出枠と判定する。
　次いで、第１検出器２０は、検出結果を検出結果記憶部４０に格納する（ステップＳ２００３）。図４の例では、ｎ－ｍ番目（１≦ｍ＜ｎ）のフレーム（以下、第１画像）において第１検出対象が検出されており、ｎ番目のフレーム（以下、第２画像）において第１検出対象が検出されていない。この場合、第１検出器２０は、例えば、第１画像において第１検出対象が検出されたことを示す情報を、第１画像と第１検出対象の検出枠ＴＧ１の座標、大きさ及び尤度などの情報と紐づけて、検出結果記憶部４０に格納する。なお、第１検出器２０は、例えば、第２画像において第１検出対象が検出されなかったことを示す情報を検出結果記憶部４０に格納してもよい。
　続いて、第２検出器３０の動作について説明する。第２検出器３０は、第２画像における第２検出対象の検出処理を実行する（ステップＳ２００４）。このとき、第２検出器３０は、入力された第２画像における複数の候補枠を検出し、検出された各候補枠の第２検出対象に対する尤度を算出する。第２検出器３０は、各候補枠について、第２検出対象に対する尤度が閾値以上であるか否か判定し、閾値以上の候補枠のうち、例えば、最大尤度を示す候補枠が第２検出対象であると判定する。図４の例では、第２検出器３０は、第２画像において第２検出対象に所定の尤度（例えば、０．５）を示す候補枠を検出している。しかしながら、当該候補枠は、閾値よりも小さいため、当該候補枠は、第２検出対象ではないと判定される。
　算出部５０は、ｍフレーム前（すなわち、第１画像）の第１検出器２０の検出結果を、検出結果記憶部４０から読み出す（ステップＳ２００５）。このとき、算出部５０は、読み出した第１画像に第１検出対象が検出されたことを示すフラグが付されている場合、第１検出器２０の検出結果に基づいて、第２検出器３０の処理の設定を決定するための情報を算出する。処理の設定を決定するための情報は、例えば、第１画像における第１検出対象を示す領域の画素値、大きさ、座標、及び、領域の周囲の画素値などの情報であってもよい。
　補正部６０は、第１検出器２０の検出結果に基づいて、第２検出器３０の処理の設定を決定する（ステップＳ２００６）。言い換えると、補正部６０は、第１検出器２０の検出結果に基づいて算出部５０が算出した情報に基づいて、第２検出器３０の処理の設定を決定する。なお、処理の設定、及び、処理に用いられるパラメタについては、上述したため、ここでの説明を省略する。ここでは、図４に示されるように、第２検出器３０の処理の設定は、第２検出対象に対する尤度閾値である。図４の例では、尤度閾値は、０．７から０．４に補正される。
　ステップＳ２００６の処理について、図３及び図４を参照しながら、より具体的に説明する。
　例えば、図４に示されるように、第１画像において第１検出対象が検出され、かつ、第２画像において第２検出対象に対する候補枠が生成された場合（図３のステップＳ３００１でＹｅｓ）、算出部５０は、第１画像で検出された第１検出対象を示す領域（すなわち第１検出対象の検出枠）と、第２画像で検出された第２検出対象に対する候補枠との重なり率又は重心間の距離を算出する（図３のステップＳ３００２）。なお、生成された全ての候補枠について上記処理が実行されてもよいし、所定の尤度（例えば０．５）以上の候補枠のみについて上記処理が実行されてもよい。
　次いで、補正部６０は、ステップＳ３００２の算出結果に基づいて、第２検出器３０の処理の設定を決定する（ステップＳ３００３）。図２及び図３に示されていないが、補正部６０は、決定した第２検出器３０の処理の設定を第２検出器３０に出力することにより、処理の設定を補正する。
　なお、図４に示されていないが、例えば、第１画像において第１検出対象が検出され、第２画像において第２検出対象に対して所定の尤度を有する検出枠が検出されていない場合（図３のステップＳ３００１でＮｏ）、補正部６０は、第２検出対象が検出される確率が高まるように、第２検出部の処理の設定を決定する（ステップＳ３００４）。例えば、補正部６０は、算出部５０が算出した確率値を参照して、第２画像で第２検出対象が検出される確率が高くなるように、第２検出器３０の尤度閾値を決定してもよい。
　続いて、図２を再び参照し、ステップＳ２００６以降の処理フローについて説明する。
　第２検出器３０は、補正部６０が決定した処理の設定を取得して更新する（ステップＳ２００７）。図４の例では、第２検出器３０は、尤度閾値を０．４に更新する。
　次いで、第２検出器３０は、更新した処理の設定に基づいて、第２画像における第２検出対象の検出処理を行う（ステップＳ２００８）。図４の例では、第２検出器３０は、更新した尤度閾値０．４に基づいて、第２画像において第２検出対象を検出する。これにより、第２画像において第２検出対象に対して所定の閾値（０．５）を有する候補枠は、尤度閾値０．４に基づいて、第２検出対象を示す候補枠であると判定される。すなわち、当該候補枠が第２検出対象の検出結果すなわち検出枠ＴＧ２として出力される。
　出力部７０は、第１検出器２０及び第２検出器３０から検出結果を取得し、取得した検出結果を示す情報（例えば、候補枠の座標及び尤度など）を出力する（ステップＳ２００９）。
　（変形例１）
　実施の形態１の変形例１に係る情報処理装置について説明する。図５は、実施の形態１の変形例１に係る情報処理装置の動作の一例を模式的に説明するための図である。変形例１では、実施の形態１と異なる点を中心に説明する。なお、実施の形態１と重複する内容については、説明を簡素化又は省略する。また、変形例１に係る情報処理装置の構成については、実施の形態１と同様であるため、図１を参照しながら説明する。
　変形例１の情報処理装置１００は、第２検出器３０の処理の設定が、第２検出器３０の選択である点で、実施の形態１の情報処理装置１００と異なる。
　補正部６０は、第１検出器２０の検出結果に基づいて、性能が異なる複数の検出器から１つの検出器を決定して、当該決定された検出器を第２検出器３０として設定する。
　図５に示されるように、変形例１に係る情報処理装置１００は、過去（ｎ－２番目のフレーム）においては検出されていた第１検出対象が第１画像（ｎ－１番目のフレーム）において検出されなくなった場合、第２検出器３０の処理の設定を決定する。例えば、処理の設定は、第２検出器の選択である。選択の候補となる検出器のそれぞれは、機械学習により訓練された検出モデルであり、検出性能が異なる。これらの検出モデルは、例えば、ニューラルネットワーク（ＮＮ）の隠れ層の数、ノード数、又は、ノードの重みなどが異なってよい。情報処理装置１００は、これらの検出モデルの中から使用していた検出モデルよりも高性能な検出モデルを選択して第２検出器３０として使用する。
　なお、第２検出器３０の処理の設定は、第２検出器３０の処理に割り当てられる計算リソースであってもよい。具体的には、補正部６０は、第１検出器２０の検出結果に基づいて第２検出器３０の処理に割り当てられる計算リソースを決定する。計算リソースは、例えば、ＣＰＵ若しくはＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などにおける演算リソースの割当て量、又はキャッシュメモリなどにおける記憶容量であってよい。
　例えば、第１検出器２０により第１検出対象が検出されなくなった場合、補正部６０は、それまで第２検出器３０に割り当てられていた計算リソースよりも多く計算リソースを決定する。プロセッサは、決定された計算リソースを第２検出器３０に割り当てる。
　その際、補正部６０は、第２検出器３０に入力するデータの量を設定してもよい。例えば、補正部６０は、第２検出器３０に入力するデータの解像度、サイズ、又はフレームレートが増加するように入力データ量を設定してもよい。
　（変形例２）
　続いて、実施の形態１の変形例２に係る情報処理装置について説明する。図６は、実施の形態１の変形例２に係る情報処理装置の動作の一例を模式的に説明するための図である。変形例２においても、変形例１と同様に、実施の形態１と異なる点を中心に説明する。なお、実施の形態１と重複する内容については、説明を簡素化又は省略する。また、変形例２に係る情報処理装置の構成については、実施の形態１及び変形例１と同様であるため、図１を参照しながら説明する。
　実施の形態１に係る情報処理装置１００では、第１検出対象及び第２検出対象は同じ種類の物体であるが、変形例２に係る情報処理装置１００は、第１検出対象と第２検出対象とが異なる種類の物体である点で、実施の形態１と異なる。
　例えば、図６に示されるように、第１検出対象は、路面であり、第２検出対象は、実施の形態１と同様に、横たわっている姿勢の人物である。第１検出器２０及び第２検出器３０は、同じフレームの画像における異なる検出対象を検出する。
　図６に示されるように、第１検出器２０がｎ番目のフレームの画像において検出対象を検出し、第２検出器３０がｎ番目のフレームの画像において第２検出対象に対して所定の尤度（例えば、０．５）を有する候補枠を検出する。このとき、算出部５０は、第１検出器２０が検出した第１検出対象検出枠と、第２検出器３０が検出した第２検出対象の候補枠との重なり率又は重心間の距離を算出する。補正部６０は、算出部５０が算出した上記の重なり率又は重心間の距離に応じて、第２検出器３０の第２検出対象の尤度閾値を補正する。補正部６０は、第２検出器３０に予め設定された尤度閾値０．７を、算出部５０の算出結果に応じて尤度閾値０．４に変更する。これにより、例えば、路面に横たわっている姿勢の人物のように出現頻度の低い物体が特定のシーンにおいてのみ検出されやすくなるため、当該物体の検出性能が高められる。また、特定のシーン以外では検出されやすさが変わらないため、誤検出を低減することができる。
　（実施の形態２）
　続いて、実施の形態２に係る情報処理装置について説明する。実施の形態１及びその変形例では、第１検出器の検出結果に基づいて、第２検出器の処理の設定を決定したが、実施の形態２では、第１検出器が不安定な場合に、第２検出器の検出結果を用いて、第１ターゲットを検出する点で異なる。以下、実施の形態１及びその変形例と異なる点を中心に説明する。なお、以下では、センシングデータは、実施の形態１と同様に、画像であるとして説明する。
　［構成］
　図７は、実施の形態２に係る情報処理装置１１０の構成の一例を示すブロック図である。図７に示されるように、情報処理装置１１０は、入力部１１と、第１検出器２１と、第２検出器３１と、検出結果記憶部４１と、算出部５１と、補正部６１と、出力部７１とを含んで構成される。
　情報処理装置１１０は、例えば、プロセッサとメモリとを含んで構成されるコンピュータによって実現されてもよい。この場合、情報処理装置１１０の各構成要素は、例えば、プロセッサがメモリに記憶される１以上のプログラムを実行することで実現されてもよい。また、情報処理装置１１０は、例えば、それぞれがプロセッサとメモリとを含んで構成される、互いに通信可能な複数のコンピュータが協調して動作することによって実現されてもよい。この場合、情報処理装置１１０の各構成要素は、例えば、いずれかの１以上のプロセッサが、いずれかの１以上のメモリに記録される、１以上のプログラムを実行することで実現されてもよい。ここでは、情報処理装置１１０は、実施の形態１と同様に、プロセッサとメモリとを含んで構成されるコンピュータによって実現されるとして説明する。
　入力部１１は、図１の入力部１０と同様である。第１検出器２１及び第２検出器３１は、入力部１１から入力された複数の画像それぞれにおいて検出対象を検出する。第１検出器２１は、画像中の第１検出対象を検出するように機械学習を用いて訓練される機械学習モデルである。また、第２検出器３１は、画像中の第２検出対象を検出するように機械学習を用いて訓練される機械学習モデルである。第１検出器２１及び第２検出器３１は、それぞれ異なる機械学習モデルであってもよく、１つの機械学習モデルであってもよい。
　第１検出対象と第２検出対象とは、種類が同じで部分が異なる物体である。第１検出対象は、センサのセンシング条件が悪い状態、例えば、イメージセンサでは、撮像条件が悪い状態により、正確に検知しにくい対象である。一方、第２検出対象は、例えば、センサのセンシング条件によって、誤検知が第１検出対象よりも生じにくい対象である。撮像条件が悪い状態とは、例えば、車両のライトを点灯する時間帯に、雨が降っている状態で、車両のライトに歩行者が照らされた場合が考えられる。このとき、路面の水たまりなどで光が反射し、画像における候補枠が垂直方向に変化して本来より大きく検出される場合がある。例えば、第１検出対象及び第２検出対象の種類はいずれも歩行者であるが、第１検出対象は、歩行者の全身であり、第２検出対象は、歩行者の上半身である。
　第１検出器２１は、複数の画像のそれぞれにおいて第１検出対象を検出する。例えば、第１検出器２１は、連続する複数の画像において、第１検出対象をトラッキングしてもよい。これにより、第１検出器２１は、時系列で第１検出対象を追跡することができる。第２検出器３１は、第１検出器２１で検出された第１検出対象の上半分をトラッキングする。第１検出対象及び第２検出対象のトラッキングは、検出枠を確定するまでのフレーム数を規定するトラッキング閾値を用いても実行されてもよく、検出枠を削除するまでのフレーム数を規定するトラッキング閾値を用いて実行されてもよい。
　検出結果記憶部４１は、第１検出器２１の検出結果を格納する。検出結果記憶部４１については、実施の形態１における検出結果記憶部４０と同様であるため、ここでの説明を省略する。
　算出部５１は、第１画像における第１検出対象の検出結果と、第２画像における第１検出対象の検出結果との間の変化の大きさを算出する。この変化の大きさは、第１画像における第１検出対象の検出結果と、第２画像における第１検出対象の検出結果との、画像における特定の方向の変化の大きさである。算出部５１は、第１検出器２１の検出結果を検出結果記憶部４１から読み出し、例えば、第１画像における第１検出対象の検出結果と、第２画像における第１検出対象の検出結果と、の縦方向の大きさの差分を算出する。より具体的には、算出部５１は、第１検出器２１の検出結果をトラッキングし、第１画像における第１検出対象の検出枠に対応する第２画像における第１検出対象の検出枠の縦方向の大きさを算出する。そして、算出部５１は、第１画像における第１検出対象の検出枠と、当該検出枠に対応する第２画像における第１検出対象の検出枠との縦方向の大きさの差分を算出する。
　補正部６１は、算出部５１が算出した結果に基づいて、（ｉ）第２画像における第１検出対象の検出結果及び第２検出器３１の処理結果に基づく検出結果のいずれかを第２画像における第１検出対象の検出結果として選択する。具体的には、補正部６１は、算出部５１が算出した差分が閾値よりも小さい場合、第１検出器２１の検出結果を第２画像における第１検出対象の検出結果として決定する。一方、補正部６１は、上記の差分が閾値以上である場合、第２検出器３１の処理結果に基づく検出結果を第２画像における第１検出対象の検出結果として決定する。例えば、補正部６１は、第２検出器３１が第２画像において検出した第２検出対象の検出枠を縦方向にＸ倍、例えば２倍に伸ばした候補枠を生成する。そして、補正部６１は、生成した候補枠を第２画像における第１検出対象の検出結果（すなわち検出枠）として決定する。
　また、補正部６１は、算出部５１が算出した結果に基づいて、（ｉｉ）第２画像における第２検出器３１の検出結果と第１検出器２１の検出結果との統合のさせ方を決定し、統合させてもよい。具体的には、補正部６１は、算出部５１が算出した差分に応じて、第１検出器２１の検出結果及び第２検出器３１の検出結果それぞれの重みを決定する。例えば、補正部６１は、当該差分が大きいほど第１検出器２１の検出結果の重みを相対的に小さくし、当該差分が小さいほど第１検出器２１の検出結果の重みを大きくする。そして、補正部６１は、第１検出器２１及び第２検出器３１の検出結果それぞれを重みに従って統合する。例えば、補正部６１は、検出枠それぞれの座標値の重み付き平均を算出する。そして、算出結果が第１検出対象の検出結果として決定される。
　なお、当該重みを用いて上記（ｉ）の選択が実行されてもよい。例えば、補正部６１は、当該重みが大きい検出結果を第１検出対象の検出結果として決定してもよい。
　出力部７１は、補正部６１が決定した第１検出対象の検出結果を取得し、提示部（不図示）、情報端末、又は、情報処理装置１１０以外の他の処理装置などに出力してもよい。
　［動作］
　以下、実施の形態２に係る情報処理装置１１０の動作の一例について説明する。ここでは、実施の形態１と異なる点について説明する。
　図８は、実施の形態２に係る情報処理装置１１０の算出部５１及び補正部６１の動作の一例を示すフローチャートである。図９は、図８のステップＳ８００２の処理の詳細なフローチャートである。図１０は、実施の形態２に係る情報処理装置１１０の動作の一例を模式的に説明するための図である。
　図８に示されるように、情報処理装置１１０は、第１画像における第１検出対象を検出するための第１検出器２１の検出結果を取得する（ステップＳ８００１）。例えば、図１０に示されるように、第１検出器２１は、ｎ－２番目のフレーム（第１画像）において、第１検出対象の検出枠ＴＧ１を検出し、第１画像の次に順番付けられたｎ－１番目のフレーム（第２画像）において第１検出対象の検出枠ＴＧ１を検出する。これらの検出結果は、例えば、画像と当該画像中の検出枠の座標などの情報とが紐づけられて、検出結果記憶部４１に格納されている。算出部５１は、これらの検出結果を検出結果記憶部４１から読み出して取得する。
　続いて、情報処理装置１１０は、第１検出器２１の検出結果に基づいて、（ｉ）第１画像の次に順序付けられた第２画像における第１検出対象とは異なる第２検出対象を検出するための第２検出器３１の処理結果に基づく検出結果及び第１検出器２１の第２画像における検出結果からいずれかの検出結果を選択する、又は、（ｉｉ）第２検出器３１の処理結果に基づく検出結果と第１検出器２１の第２画像における検出結果との統合のさせ方を決定する（ステップＳ８００２）。このとき、情報処理装置１１０は、第１画像における第１検出対象の検出結果と、第２画像における第１検出対象の検出結果との間の変化の大きさを算出し、当該変化の大きさに基づいて、上記（ｉ）又は上記（ｉｉ）を実行してもよい。なお、上記の変化の大きさは、第１画像における第１検出対象の検出結果と、第２画像における第１検出対象の検出結果との、画像における特定の方向の変化の大きさである。情報処理装置１１０は、当該特定の方向の変化の大きさに応じて、上記（ｉ）において、第２検出器３１の処理結果に基づく検出結果及び第１検出器２１の第２画像における検出結果からいずれかの検出結果を選択する、又は、上記の（ｉｉ）において、第２検出器３１の処理結果に基づく検出結果及び第１検出器２１の検出結果の統合における重みを決定し、統合させてもよい。このとき、例えば、上記の（ｉ）においては、上記の２つの検出結果の統合における重みのうち重みの大きい検出結果を選択してもよく、上記の（ｉｉ）においては、検出枠それぞれの座標値の重み付き平均を算出し、算出結果を第１検出対象の検出結果として出力してもよい。なお、統合における重みについては、上述したため、ここでの説明を省略する。
　図９及び図１０を参照しながら、ステップＳ８００２をより具体的に説明する。図９に示されるように、算出部５１は、第１画像及び第２画像において第１検出対象をトラッキングし（ステップＳ９００１）、第１画像における第１検出対象の検出結果と、第２画像における第１検出対象の検出結果との縦方向の大きさの差分を算出する（ステップＳ９００２）。より具体的には、図１０に示されるように、第１画像（ｎ－２番目のフレーム）における第１検出対象の検出枠ＴＧ１の縦方向の大きさｈ１と、第２画像（ｎ－１番目のフレーム）における第１検出対象の検出枠ＴＧ１の縦方向の大きさｈ２との差分ΔＨ１とを算出する。
　続いて、補正部６１は、算出部５１が算出した縦方向の大きさの差分ΔＨ１が閾値以上であるか否かを判定する（ステップＳ９００３）。当該差分ΔＨが閾値よりも小さい場合（ステップＳ９００３でＮｏ）、補正部６１は、上記（ｉ）において、第１検出器２１の第２画像における検出結果すなわち検出枠ＴＧ１を選択する（ステップＳ９００５）。あるいは、上記（ｉｉ）において、第２検出器３１の検出結果の重みをゼロにすることで、第１検出器２１の検出結果が選択されてもよい。
　一方、補正部６１は、当該差分ΔＨが閾値以上である場合（ステップＳ９００３でＹｅｓ）、上記の（ｉ）において、第２検出器３１の処理結果に基づく検出結果を第１検出器２１の検出結果として選択する。あるいは、上記（ｉｉ）において、第２検出器３１の処理結果に基づく検出結果及び第１検出器２１の検出結果の統合における重みを決定する（ステップＳ９００４）。
　まず、上記（ｉ）の例をｎ－１番目のフレームの例を用いて説明する。ここで、第２検出器３１の処理結果に基づく検出結果は、例えば、図１０の補正部の列におけるｎ－１番目のフレームに示すように、第２検出器３１で検出された第２検出対象の検出枠（縦方向の大きさｈ３）を縦方向にＸ倍に、例えば２倍に伸ばすことにより生成された、第１検出対象の候補枠ＴＧ１’（縦方向の大きさ２ｈ３）である。ステップＳ９００４の処理において、補正部６１は、第１検出器２１で検出された第１検出対象の検出枠ＴＧ１、及び、第１検出対象に対応する候補枠ＴＧ１’のうち統合における重みの大きい枠を選択する。例えば、図１０の補正部の行のｎ－１番目のフレームに示されるように、上記の（ｉ）において、この第１検出対象の候補枠ＴＧ１’を出力対象として選択する。
　続いて、上記（ｉｉ）の例をｎ番目のフレームの例を用いて説明する。ステップＳ９００４の処理において、補正部６１は、上記差分に応じて、第２検出器３１の検出結果に基づいて生成された第１検出対象の候補枠ＴＧ１’と、第１検出器２１の検出結果である第１検出対象の検出枠ＴＧ１と、の統合における重みを決定する。そして、補正部６１は、決定された重みを用いて、第１検出器２１で検出された第１検出対象の検出枠ＴＧ１、及び、第１検出対象の候補枠ＴＧ１’の座標値の重み付き平均を算出する。例えば、補正部６１は、図１０に示されるような、第１検出器２１の検出枠ＴＧ１（縦方向の大きさｈ４）、及び第２検出器３１の検出枠ＴＧ２（縦方向の大きさｈ５）に基づく候補枠ＴＧ１’（縦方向の大きさ２ｈ５）の重みを、差分ΔＨ２に応じて決定する。そして、補正部６１は、決定された重みを用いて、ＴＧ１とＴＧ１’の座標の重み付き平均を算出して第１検出対象の候補枠ＴＧ１’’（縦方向の大きさｈ６）を生成する。生成された候補枠ＴＧ１’’が出力対象となる。
　補正部６１は、上記（ｉ）及び（ｉｉ）のいずれかの方法によって決定された枠を、第２画像における第１検出対象の検出結果として決定する。
　（他の実施の形態）
　以上、１つ又は複数の態様に係る情報処理装置、情報処理方法及びプログラムについて、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲に含まれる。
　例えば、上記の実施の形態において説明した処理は、単一の装置（システム）を用いて集中処理することによって実現してもよく、又は、複数の装置を用いて分散処理することによって実現してもよい。また、上記プログラムを実行するプロセッサは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、又は、分散処理を行ってもよい。
　また、上記の各実施の形態は、請求の範囲又はその均等の範囲において種々の変更、書き換え、付加、及び、省略などを行うことができる。
　本開示は、検出されにくい検出対象の検出精度を向上することができる情報処理装置などとして利用でき、例えば、車載カメラシステム、及び、防犯カメラシステムなどに利用することができる。
　１０、１１　入力部
　２０、２１　第１検出器
　３０、３１　第２検出器
　４０、４１　検出結果記憶部
　５０、５１　算出部
　６０、６１　補正部
　７０、７１　出力部
　１００、１１０　情報処理装置

Claims (20)

  1. 　プロセッサを備える情報処理装置であって、
    　前記プロセッサは、
    　第１センシングデータにおける第１ターゲットを検出するための第１検出器の検出結果を取得し、
    　前記第１検出器の検出結果に基づいて、前記第１センシングデータの次に順序付けられた第２センシングデータにおける前記第１ターゲットとは異なる第２ターゲットを検出するための第２検出器の処理の設定を決定する、
    　情報処理装置。
  2. 　前記プロセッサは、前記第１検出器の検出結果と前記第２検出器の検出結果の候補との関係に基づいて、前記第２検出器の処理の設定を決定する、
    　請求項１に記載の情報処理装置。
  3. 　前記関係は、前記第１検出器で検出された前記第１ターゲットの領域と、前記第２検出器で検出される前記第２ターゲットの候補の領域との距離である、
    　請求項２に記載の情報処理装置。
  4. 　前記プロセッサは、前記第１センシングデータにおいて前記第１ターゲットが検出されたか否かに応じて、前記第２検出器の前記処理の設定を決定する、
    　請求項１～３のいずれか１項に記載の情報処理装置。
  5. 　前記プロセッサは、前記第２センシングデータにおいて前記第１ターゲットが検出されたか否かに応じて、前記第２検出器の前記処理の設定を決定する、
    　請求項４に記載の情報処理装置。
  6. 　前記プロセッサは、前記第１センシングデータにおいて前記第１ターゲットが検出される場合、前記第２検出器の前記処理の設定を決定する、
    　請求項４又は５に記載の情報処理装置。
  7. 　前記プロセッサは、さらに前記第２センシングデータにおいて前記第１ターゲットが検出されない場合に、前記第２検出器の前記処理の設定を決定する、
    　請求項６に記載の情報処理装置。
  8. 　前記プロセッサは、前記第１センシングデータにおいて前記第１ターゲットが検出されなくなった場合、前記第２検出器の前記処理の設定を決定する、
    　請求項４又は５に記載の情報処理装置。
  9. 　前記処理の設定は、前記処理に用いられるパラメタである、
    　請求項１～８のいずれか１項に記載の情報処理装置。
  10. 　前記処理に用いられるパラメタは、前記第２ターゲットに対する尤度閾値、尤度の補正度、又は、検出判定のためのデータ数であるトラッキング閾値である、
    　請求項９に記載の情報処理装置。
  11. 　前記処理の設定は、前記第２検出器の処理に割り当てられる計算リソースである、
    　請求項１～１０のいずれか１項に記載の情報処理装置。
  12. 　前記処理の設定は、前記第２検出器の選択である、
    　請求項１～１１のいずれか１項に記載の情報処理装置。
  13. 　前記処理の設定は、前記第２検出器に入力されるデータの解像度、サイズ又はフレームレートである、
    　請求項１～１２のいずれか１項に記載の情報処理装置。
  14. 　前記第１ターゲットと前記第２ターゲットとは、種類が同じで姿勢が異なる物体である、
    　請求項１～１３のいずれか１項に記載の情報処理装置。
  15. 　プロセッサを備える情報処理装置であって、
    　前記プロセッサは、
    　第１センシングデータにおける第１ターゲットを検出するための第１検出器の検出結果を取得し、
    　前記第１検出器の検出結果に基づいて、（ｉ）前記第１センシングデータの次に順序付けられた第２センシングデータにおける前記第１ターゲットとは異なる第２ターゲットを検出するための第２検出器の処理結果に基づく検出結果及び前記第１検出器の第２センシングデータにおける検出結果からいずれかの検出結果を選択する、又は、（ｉｉ）前記第２検出器の検出結果と前記第１検出器の第２センシングデータにおける検出結果との統合のさせ方を決定する、
    　情報処理装置。
  16. 　前記プロセッサは、
    　前記第１センシングデータにおける前記第１ターゲットの検出結果と、前記第２センシングデータにおける前記第１ターゲットの検出結果との間の変化の大きさを算出し、
    　前記変化の大きさに基づいて前記（ｉ）又は前記（ｉｉ）を実行する、
    　請求項１５に記載の情報処理装置。
  17. 　前記変化の大きさは、前記第１センシングデータにおける前記第１ターゲットの検出結果と、前記第２センシングデータにおける前記第１ターゲットの検出結果との、センシングデータにおける特定の方向の変化の大きさであり、
    　前記プロセッサは、
    　前記特定の方向の変化の大きさに応じて、
    　前記（ｉ）において、前記第２検出器の処理結果に基づく検出結果及び前記第１検出器の第２センシングデータにおける検出結果からいずれかの検出結果を選択する、又は、
    　前記（ｉｉ）において、前記第２検出器の前記検出結果及び前記第１検出器の検出結果の前記統合における重みを決定する、
    　請求項１６に記載の情報処理装置。
  18. 　前記第１ターゲットと前記第２ターゲットとは、種類が同じで部分が異なる物体である、
    　請求項１５～１７のいずれか１項に記載の情報処理装置。
  19. 　コンピュータに実行させるための方法であって、
    　第１センシングデータにおける第１ターゲットを検出するための第１検出器の検出結果を取得し、
    　前記第１検出器の検出結果に基づいて、前記第１センシングデータの次に順序付けられた第２センシングデータにおける前記第１ターゲットとは異なる第２ターゲットを検出するための第２検出器の処理の設定を決定する、
    　情報処理方法。
  20. 　第１センシングデータにおける第１ターゲットを検出するための第１検出器の検出結果を取得し、
    　前記第１検出器の検出結果に基づいて、前記第１センシングデータの次に順序付けられた第２センシングデータにおける前記第１ターゲットとは異なる第２ターゲットを検出するための第２検出器の処理の設定を決定する、
    　情報処理方法をコンピュータに実行させるためのプログラム。
PCT/JP2019/048322 2019-01-02 2019-12-10 情報処理装置、情報処理方法及びプログラム WO2020141588A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020563864A JP7407738B2 (ja) 2019-01-02 2019-12-10 情報処理装置、情報処理方法及びプログラム
EP19907542.5A EP3907721A4 (en) 2019-01-02 2019-12-10 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
CN201980045420.2A CN112424849B (zh) 2019-01-02 2019-12-10 信息处理装置、信息处理方法及记录介质
US17/149,269 US11481990B2 (en) 2019-01-02 2021-01-14 Detection device, detection method, and recording medium for detecting an object in an image

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962787581P 2019-01-02 2019-01-02
US62/787,581 2019-01-02
JP2019-107892 2019-06-10
JP2019107892 2019-06-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/149,269 Continuation US11481990B2 (en) 2019-01-02 2021-01-14 Detection device, detection method, and recording medium for detecting an object in an image

Publications (1)

Publication Number Publication Date
WO2020141588A1 true WO2020141588A1 (ja) 2020-07-09

Family

ID=71406898

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/048322 WO2020141588A1 (ja) 2019-01-02 2019-12-10 情報処理装置、情報処理方法及びプログラム

Country Status (5)

Country Link
US (1) US11481990B2 (ja)
EP (1) EP3907721A4 (ja)
JP (1) JP7407738B2 (ja)
CN (1) CN112424849B (ja)
WO (1) WO2020141588A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7159503B1 (ja) * 2022-08-24 2022-10-24 セーフィー株式会社 情報処理システム、情報処理方法、及び情報処理プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011055262A (ja) * 2009-09-02 2011-03-17 Mitsubishi Electric Corp 画像検出装置
US20130034263A1 (en) 2011-08-04 2013-02-07 Yuanyuan Ding Adaptive Threshold for Object Detection
JP2013134703A (ja) * 2011-12-27 2013-07-08 Seiko Epson Corp 検出装置及び検出方法
JP2016143157A (ja) * 2015-01-30 2016-08-08 キヤノン株式会社 画像処理装置、画像処理方法、及び画像処理システム
WO2018012084A1 (ja) * 2016-07-15 2018-01-18 パナソニックＩｐマネジメント株式会社 画像認識システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9171380B2 (en) * 2011-12-06 2015-10-27 Microsoft Technology Licensing, Llc Controlling power consumption in object tracking pipeline
CN104517275A (zh) * 2013-09-27 2015-04-15 株式会社理光 对象检测方法和系统
JP6648411B2 (ja) * 2014-05-19 2020-02-14 株式会社リコー 処理装置、処理システム、処理プログラム及び処理方法
US9525892B2 (en) * 2014-05-27 2016-12-20 Nextdrive Inc. Video image distribution method
US9383261B2 (en) * 2014-06-13 2016-07-05 Ge Aviation Systems Llc Method of eliminating spurious signals and a relative navigation system
JP2017107503A (ja) * 2015-12-11 2017-06-15 株式会社リコー 情報処理装置、情報処理方法、プログラムおよびシステム
WO2017057041A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
JP6514089B2 (ja) * 2015-11-02 2019-05-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
JP2017146990A (ja) * 2017-04-26 2017-08-24 株式会社東芝 物体検出装置及びその検出方法
US11080875B2 (en) * 2018-03-22 2021-08-03 Jvckenwood Corporation Shape measuring apparatus, shape measuring method, non-transitory computer readable medium storing program
WO2019206239A1 (en) * 2018-04-27 2019-10-31 Shanghai Truthvision Information Technology Co., Ltd. Systems and methods for detecting a posture of a human object
US10699154B2 (en) * 2018-08-08 2020-06-30 At&T Intellectual Property I, L.P. Optimizing 360-degree video streaming with video content analysis
US11200424B2 (en) * 2018-10-12 2021-12-14 Adobe Inc. Space-time memory network for locating target object in video content

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011055262A (ja) * 2009-09-02 2011-03-17 Mitsubishi Electric Corp 画像検出装置
US20130034263A1 (en) 2011-08-04 2013-02-07 Yuanyuan Ding Adaptive Threshold for Object Detection
JP2013134703A (ja) * 2011-12-27 2013-07-08 Seiko Epson Corp 検出装置及び検出方法
JP2016143157A (ja) * 2015-01-30 2016-08-08 キヤノン株式会社 画像処理装置、画像処理方法、及び画像処理システム
WO2018012084A1 (ja) * 2016-07-15 2018-01-18 パナソニックＩｐマネジメント株式会社 画像認識システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3907721A4

Also Published As

Publication number Publication date
US11481990B2 (en) 2022-10-25
CN112424849B (zh) 2023-08-04
US20210142087A1 (en) 2021-05-13
EP3907721A4 (en) 2022-03-09
JPWO2020141588A1 (ja) 2021-11-11
CN112424849A (zh) 2021-02-26
JP7407738B2 (ja) 2024-01-04
EP3907721A1 (en) 2021-11-10

Similar Documents

Publication Publication Date Title
JP4915655B2 (ja) 自動追尾装置
JP6088792B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
US8243987B2 (en) Object tracking using color histogram and object size
JP5989251B2 (ja) 操作入力装置及び方法、並びにプログラム及び記録媒体
US8989448B2 (en) Moving object detecting device, moving object detecting method, moving object detection program, moving object tracking device, moving object tracking method, and moving object tracking program
US20140241570A1 (en) Using a combination of 2d and 3d image data to determine hand features information
US8135172B2 (en) Image processing apparatus and method thereof
JP2012226745A (ja) 奥行き画像内の物体を検出する方法およびシステム
US10600189B1 (en) Optical flow techniques for event cameras
JPWO2014080613A1 (ja) 色補正装置、色補正方法および色補正用プログラム
JP2013025490A (ja) 情報処理装置、物体追跡方法および情報処理プログラム
JP2019021001A (ja) 物体検出装置、物体検出方法、およびプログラム
JP2006059252A (ja) 動き検出方法及び装置，プログラム，車両用監視システム
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
Nghiem et al. Background subtraction in people detection framework for RGB-D cameras
JP2012221162A (ja) 対象物検出装置及びプログラム
JP2020109644A (ja) 転倒検出方法、転倒検出装置及び電子機器
WO2020141588A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20220012514A1 (en) Identification information assignment apparatus, identification information assignment method, and program
JP2019149119A (ja) 画像処理装置、画像処理方法及びプログラム
US20210304417A1 (en) Observation device and observation method
JP5241687B2 (ja) 物体検出装置及び物体検出プログラム
JP2014203133A (ja) 画像処理装置、画像処理方法
US11270442B2 (en) Motion image integration method and motion image integration system capable of merging motion object images
TWI716049B (zh) 前景及背景影像判斷方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19907542

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020563864

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019907542

Country of ref document: EP

Effective date: 20210802