JP5794255B2 - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
JP5794255B2
JP5794255B2 JP2013107119A JP2013107119A JP5794255B2 JP 5794255 B2 JP5794255 B2 JP 5794255B2 JP 2013107119 A JP2013107119 A JP 2013107119A JP 2013107119 A JP2013107119 A JP 2013107119A JP 5794255 B2 JP5794255 B2 JP 5794255B2
Authority
JP
Japan
Prior art keywords
score
dictionary
integrated
calculating
parts
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013107119A
Other languages
English (en)
Other versions
JP2014229010A (ja
Inventor
神谷 保徳
保徳 神谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2013107119A priority Critical patent/JP5794255B2/ja
Priority to US14/282,316 priority patent/US9501720B2/en
Priority to DE102014209584.0A priority patent/DE102014209584A1/de
Publication of JP2014229010A publication Critical patent/JP2014229010A/ja
Application granted granted Critical
Publication of JP5794255B2 publication Critical patent/JP5794255B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Description

本発明は、画像認識用の辞書を用いて入力画像から検出対象物を検出する物体検出装置に関する。
従来、車両の前方や後方に存在する人や他車両等の検出対象物を検出する技術として、カメラ等により撮像された画像(入力画像)に対し、検出対象物の特徴を表すデータ(輪郭や各種特徴量)が記述された認識辞書を用いて、入力画像中から認識辞書との類似度が高い領域を抽出する技術が知られている。
また、認識処理の対象となる領域を複数のパーツ領域に分け、パーツ領域毎に識別方法を選択して適用することで、よりロバストに認識を行うことを可能とする技術も提案されている(例えば、特許文献1参照)。
特開平2008−181423号公報
ところで、検出対象となる物体は、単一の物体であっても、見える向きによって形状が異なっていたり、物体が部分的に変形したりする場合がある。特に、人間等のように髪型,服装,姿勢,運動方向等によって、見た目(色,模様,形状)に膨大なバリエーションが存在する場合、その全てを検出できるようにするには、膨大な数の認識辞書が必要となってしまうという問題があった。
本発明は、上記問題を解決するためになされたものであり、見た目のバリエーションが豊富な検出対象物を画像認識によって検出する際の検出精度を向上させることを目的とする。
本発明の物体検出装置は、記憶手段と、パーツスコア算出手段と、統合スコア算出手段と、判断手段とを備える。記憶手段は、検出対象物の認識に使用する認識辞書を、認識処理の対象となる対象領域中に設定された複数のパーツ領域別、且つ該パーツ領域にて検出されるパーツの見た目の違いを表すタイプ別に記憶する。なお、ここで言う見た目とは、色,模様,形状等のことであり、これらのうち少なくとも一つを適用する。パーツスコア算出手段は、入力画像から切り出された領域を対象領域とし、記憶手段に記憶された認識辞書の少なくとも一部を用いて、パーツ領域のそれぞれについて、タイプ毎に認識辞書との類似度を表すパーツスコアを算出する。つまり、パーツ領域毎に、複数のタイプ別パーツスコアが算出されることになる。統合スコア算出手段は、パーツスコア算出手段にて算出されたパーツスコアを、パーツ領域のそれぞれから一つずつ選択し重み付けして統合した統合スコアを算出する。判断手段は、統合スコア算出手段にて算出された統合スコアを用いて対象領域に検出対象物が存在するか否かを判断する。
つまり、パーツ領域毎に見た目のバリエーションを表現し、その組合せで全体の見た目のバリエーションを表現しているため、全体の見た目のバリエーションを、そのバリエーションの数より少ない数の認識辞書によって表現することができる。
このように構成された本発明によれば、検出対象物の見た目のバリエーションが豊富な場合でも、検出対象物のパーツ毎に、パーツのバリエーションに対応した認識辞書を複数ずつ用意すればよく、検出対象物の全てのバリエーション(即ち、パーツバリエーションの全ての組合せ)について一つずつ認識辞書を用意する必要がないため、少ない辞書数で検出対象物を精度良く検出することができる。
なお、本発明は、前述した物体検出装置の他、物体検出装置を構成要素とする各種システム、物体検出装置を構成する各手段としてコンピュータを機能させるためのプログラム、物体認識方法など、種々の形態で実現することができる。
また、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
物体認識システムの概略構成を示すブロック図である。 認識対象が人である場合の全体辞書、及びパーツ辞書の概要を示す説明図である。 (a)がシーンからパーツ辞書を選択する際に使用する辞書選択テーブル、(b)がシーンから統合スコアを算出する際に用いる重みを選択する際に使用する重み選択テーブルの内容を示す説明図である。
このため、物体検出装置1によれば、検出対象物の見た目のバリエーションが豊富な場合でも、必要最小限の辞書によって精度良く検出対象物を検出することができる。
第1実施形態における画像認識処理の手順を示すフローチャートである。 第2実施形態における画像認識処理の手順を示すフローチャートである。 統合スコアの算出に使用されたパーツ辞書のタイプからシーンを推定する際に使用するシーン推定テーブルの内容を示す説明図である。 第3実施形態における画像認識処理の手順を示すフローチャートである。
以下に本発明の実施形態を図面と共に説明する。
[第1実施形態]
<全体構成>
実施形態の物体検出システムは、車両等に搭載され、車両の前方に存在する人や車両、標識等の特定の検出対象物を検出するために用いられる。図1に示すように、物体検出システムは、物体検出装置1を備え、この物体検出装置1に対して、画像入力部2、車両情報入力部3、及び、検出結果出力部4等を接続して構成されている。
画像入力部2は、車両の前方を撮影する車載カメラ等で構成される。画像入力部2によって撮影された画像は、入力画像として物体検出装置1に入力される。
車両情報入力部3は、車両の挙動や車両周囲の状況を検出するために車両に設備された各種センサや、各種車載機器(例えば、灯火装置やワイパー)の作動状態等を特定するための各種情報を物体検出装置1に入力する各種操作機器類(例えば、スイッチ,レバー等)からなる。以下では、これらセンサや機器類にて生成される情報を車両情報という。
検出結果出力部4は、物体検出装置1による検出対象物の検出結果に応じて、例えば、人や車両が存在する旨の警報を運転者に対して提示したり、車両制御を行ったりする車載機器である。この種の車載機器としては、車両の走行安全システムや運転支援システムの制御装置等が例示される。
<物体検出装置>
物体検出装置1は、演算処理部10と記憶部11とを備える。演算処理部10は、図示しないCPU,ROM,RAM,出入力インタフェース等を備えた情報処理装置(例えば、マイクロコンピュータ)で構成され、画像入力部2からの入力画像の中から検出対象物の画像を検出し、その検出結果に基づいて生成される物標情報を出力する画像認識処理を実行する。記憶部11は、情報処理部が実行する画像認識処理に関するプログラムや、その画像認識処理で用いる認識辞書、認識辞書の絞り込みや、後述する重みの設定に使用する各種テーブル等を記憶する記憶装置である。
ここで、認識辞書とは、検出対象物が写り込んだ画像領域での画素の特徴を表したデータ(特徴量)によって表現される。特徴量は、具体的には、検出対象物の輪郭形状(輪郭の位置)を表すデータであってもよいし、画素値に対して所定演算を施すことによって得られる算出値(例えば平均値)やヒストグラム等であってもよい。
また、認識辞書は、検出対象物の全体を表す全体辞書と、検出対象物の一部を表すパーツ辞書とで構成されている。更に、パーツ辞書は、そのパーツの見え方のバリエーションを表すタイプ別に複数のものが用意されている。なお、全ての認識辞書は、同じ種類の特徴量によって記述されるものとする。
ここで、検出対象物の一例である人(歩行者)を検出する場合に使用する認識辞書について、図2を用いて説明する。但し、検出対象物は、人に限るものではなく、各種車両や路側物、路面表示等であってもよい。
認識辞書は、検出対象物である人の全身を表す全体辞書A(図2(a)参照)と、検出対象物を構成するパーツを表すパーツ辞書(図2(b)参照)とで構成される。全体辞書Aは、認識処理の対象となる対象領域の全体に適用され、一方、パーツ辞書は、対象領域の一部からなるパーツ領域に対して適用される。
本実施形態では、パーツ辞書は、上半身(パーツB)に関するものと、下半身(パーツC)に関するものとで構成され、上半身に関する複数のパーツ辞書をパーツB辞書群、下半身に関する複数のパーツ辞書をパーツC辞書群という。そして、対象領域を上下に2分割したもののうち、上側の領域がパーツB辞書群を適用するパーツ領域、下側の領域がパーツC辞書群を適用するパーツ領域となる。
パーツB辞書群は、上半身の見た目(色,模様,形状)の違いを複数にタイプ分けし、各タイプに対応付けたパーツ辞書B1,B2,…からなり、同様に、パーツC辞書群は、下半身の見た目(色,模様,形状)の違いを複数にタイプ分けし、各タイプに対応付けたパーツ辞書C1,C2,…からなる。
認識辞書の選択に用いるテーブルである辞書選択テーブルは、図3(a)に例示するように、車両情報入力部3での検出結果から推定される各種シーン(晴天/雨天、昼間/夜間等)をS1,S2,…で表すものとして、各シーンS1,S2,…に対応付けて、そのシーンで使用するパーツ辞書をパーツ領域毎に列挙したものである。
辞書選択テーブルの内容は、各シーンSiにおいて、どのバリエーション(即ち、どのタイプのバーツ辞書)を重要視するのが妥当であるかを、実験やシミュレーション等によって調べた結果に基づいて設計される。
パーツの重みの選択に用いるテーブルである重み選択テーブルは、図3(b)に示すように、バーツB辞書群を構成するパーツ辞書B1,B2,…と、パーツB辞書群を構成するパーツ辞書C1,C2,…とをインデックスとして、パーツ辞書Bj(j=1,2,…)と、パーツ辞書Ck(k=1,2,…)が選択された時に、そのパーツ辞書Bj,Ckを用いて算出されたスコア(パーツスコア)に対して適用する重みβjk,γjkを記述したものである。
重み選択テーブルの内容は、通常ではあり得ないパーツの組合せ(例えば、正面向きの上半身と横向きの下半身、前向きの顔と後向きの足等)の場合には、重みが小さくなるように設計される。
<画像認識処理>
物体検出装置1の演算処理部10が実行する画像認識処理の内容を、図3に示すフローチャートに沿って説明する。本処理は、演算処理部10が画像入力部2から入力画像を取得する毎に別途実行される入力画像についての特徴量を算出する処理の終了後に起動する。
S110では、演算処理部10は、車両情報入力部3から車両情報を取得する。車両情報としては、例えば、ライトスイッチの作動状態(オン、オフ、ハイビーム、ロービーム)を示す情報や、ワイパースイッチの作動状態(オン、オフ、動作速度、動作間隔)を示す情報等が挙げられる。
S120では、演算処理部10は、S110で取得した車両情報に基づいて車両周辺の状況を表したシーンを推定し、その推定したシーンに基づき、図3(a)に例示した辞書選択テーブルを参照して、以下の処理で使用する認識辞書を選択する。なお、シーンの推定は、例えば、ライトスイッチがオンであれば夜間、ワーパースイッチがオンであれば雨天等と推定する。
S130では、演算処理部10は、入力画像から所定サイズ(全体辞書Aが適用されるサイズ)の領域を切り出す。以下では、入力画像から切り出される個々の領域を切出領域ともいう。
S140では、演算処理部10は、S130で切り出された切出領域を、認識処理の対象となる対象領域として、この対象領域と全体辞書Aとに基づき、対象領域の特徴量が全体辞書Aに示された特徴量とどの程度類似しているかを表すスコア(全身スコア)を算出する。なお、このようなスコアの算出は周知技術であるため、ここでは説明を省略する。
S150では、演算処理部10は、対象領域を構成するパーツ領域中で、後述の処理(S160〜S180)を未実施のパーツ領域を一つ選択する。この選択されたパーツ領域を、以下では対象パーツ領域という。
S160では、演算処理部10は、S150で選択した対象パーツ領域と、S120で選択した対象パーツ領域に関するタイプ別のパーツ辞書とに基づき、対象パーツ領域の特徴量がパーツ辞書に示された特徴量とどの程度類似しているかを表すスコア(仮パーツスコア)を、パーツ辞書のそれぞれについて算出する。
S170では、演算処理部10は、S160にてパーツ辞書毎に算出された仮パーツスコアのうち、最大のものを、その対象パーツ領域のパーツスコア(代表スコア)に決定する。
S180では、演算処理部10は、対象領域内の全てのパーツ領域について処理を終了したか否かを判断する。そして、未処理のパーツ領域があればS150に戻って、S150〜S170の処理を繰り返し、全てのパーツ領域について処理済みであれば、S190に進む。
S190では、演算処理部10は、S140で算出した全身スコアと、S170でパーツ領域毎に決定したパーツスコアと、パーツスコアの算出に用いられたパーツ辞書のタイプをインデックスにして重み選択テーブルから求めた重みとを用いて、各スコアを重み付け加算することによって統合スコアを算出する。
つまり、パーツスコアの算出に用いられたパーツ辞書がBj,Ckである場合、全身スコアをPa、パーツBのパーツ領域でのパーツスコアをPb、パーツCのパーツ領域でのパーツスコアをPc、全身スコアの重みをα(ここでは固定値)とすると、統合スコアTは、(1)式に従って算出されることになる。
T=α×Pa+βjk×Pb+γjk×Pc (1)
S200では、演算処理部10は、入力画像について、切出領域の切り出しを全て終了したか否かを判断し、終了していなければS130に戻って、新たに切り出した切出領域を対象領域としてS130〜S190の処理を繰り返し実行する。一方、切出領域の切り出しが全て終了していれば、S210に進む。
S210では、演算処理部10は、入力画像から切り出された全ての切出領域の中から、統合スコアが、予め設定された閾値以上であるものを抽出し、その抽出された切出領域に検出対象物が存在するものとして、その抽出された切出領域のそれぞれについて、検出対象物に関する情報である物標情報を生成する。なお、物標情報には、検出対象物の種類と入力画像中での位置が少なくとも含まれている。
S220では、演算処理部10は、S210で生成した物標情報と共に、S120での推定結果を表すシーン情報を、検出結果出力部4に出力して、本処理を終了する。
<効果>
以上説明したように物体検出装置1では、全体辞書Aから求めた全身スコアと、パーツ領域毎にパーツ辞書から求めたパーツスコアとを、パーツの組合せの妥当性に応じた値を有する重みを用いて統合(重み付け加算)することで対象領域の統合スコアを求めている。しかも、パーツ領域のそれぞれについて、パーツの見え方の違いに応じた複数のパーツ辞書を用意し、パーツ辞書毎に仮パーツスコアを求め、その最大値をパーツ領域のパーツスコアにしている。
つまり、物体検出装置1では、パーツ領域毎に見た目のバリエーションを表現し、その組合せで全身の見た目のバリエーションを表現しているため、全体の見た目のバリエーションを、そのバリエーションの数より少ない数のパーツ辞書によって表現することができる。 従って、物体検出装置1によれば、見た目のバリエーションが豊富な検出対象物であっても、そのバリエーションの総数より少ない辞書数で精度良く検出することができる。
しかも、パーツ辞書の組合せに応じて、統合スコアを算出する際のパーツスコアの重みを変化させてスコアを調整しており、あり得ないパーツの組合せとなる切出領域の統合スコアが小さく抑えられるため、誤検出を抑制すること、即ち、検出精度を向上させることができる。
また、物体検出装置1によれば、パーツ領域に適用するパーツ辞書を、車両情報から推定されるシーンに応じて絞り込んでいるため、画像認識処理に要する時間を短縮することができる。
[第2実施形態]
第2実施形態について説明する。
本実施形態では、画像認識処理の内容が第1実施形態のものとは一部異なるだけであるため、この相違する部分を中心に説明する。
<画像認識処理>
本実施形態では、演算処理部10が実行する画像認識処理は、図5に示すように、図4と比較して、S110〜S120が省略され、S160,S220がS165,S225に置き換えられ、S210とS220の間にS215が追加されている。
即ち、本実施形態では、車両情報に基づく認識辞書の選択が行われないため、S165では、演算処理部10は、対象パーツ領域について用意された全てのパーツ辞書について仮パーツスコアの算出を行う。
そして、S215では、演算処理部10は、S170でパーツ領域毎に決定されたパーツスコアについて、そのパーツスコアの算出に用いられたパーツ辞書の組合せから、検出対象物の状態(例えば、人体の姿勢等)や入力画像が表すシーンを推定する。また、S225では、演算処理部10は、演算処理部S210で生成した物標情報と共に、S215での推定結果を表す状態/シーン情報を検出結果出力部4に出力する。
なお、S215で実行する検出対象物の状態・シーンの推定は、記憶部11に記憶された状態/シーン推定テーブルを用いて実行する。この状態/シーン推定テーブルは、図6に示すように、パーツB辞書群に属するパーツ辞書Bj、パーツC辞書群に属するパーツ辞書Ckをインデックスとして、対応する検出対象物の状態やシーンSjkを記述したものである。
具体的には、例えば、パーツB辞書群を、それぞれが異なる姿勢を表すパーツ辞書で構成し、統合スコアの算出に、パーツ辞書が使用された場合、そのパーツ辞書が表す姿勢を検出対象物体が取っていると推定することが考えられる。また、パーツB辞書群中に傘をさしている状態を表すパーツ辞書が存在し、統合スコアの算出に、そのパーツ辞書に基づくパーツスコアが使用されていた場合には、雨天のシーンであると推定することが考えられる。
<効果>
本実施形態によれば、第1実施形態の場合と同様に、見た目のバリエーションが膨大な検出対象物を、そのバリエーションの数より少ない認識辞書によって検出することができると共に、検出精度を向上させることができる。
また、本実施形態によれば、車両情報を用いることなく、画像認識の処理中に得られた情報から検出対象物の状態やシーンを推定することができる。
[第3実施形態]
第3実施形態について説明する。
本実施形態では、画像認識処理の内容が第1実施形態のものとは一部異なるだけであるため、この相違する部分を中心に説明する。
<画像認識処理>
本実施形態では、演算処理部10が実行する画像認識処理は、図7に示すように、図4と比較して、S170がS175に、S190がS192〜194に置き換えられている。
即ち、S175では、演算処理部10は、S160にて算出された仮パーツスコアの中から、予め設定された閾値以上であるものを候補スコアとして抽出し、その候補スコアの算出に用いたパーツ辞書を特定する。
そして、S192では、演算処理部10は、各パーツ辞書群から一つずつパーツ辞書を選択して組み合わせたものをパーツ組合せと呼ぶものとして、S175で特定されたパーツ辞書によって生成される全てのパーツ組合せについて、仮統合スコアを算出する。仮統合スコアは、具体的には、S140で算出した全身スコアと、S175で抽出した候補スコア(仮パーツスコア)と、着目するパーツ組合せのパーツ辞書をインデックスとして重み選択テーブルから求めた重みとを用いて、上述の(1)式と同様に算出する。
S194では、演算処理部10は、S192で算出した仮統合スコアのうち最大のものを、対象領域の統合スコアに決定する。
<効果>
本実施形態によれば、第1実施形態の場合と同様に、見た目のバリエーションが膨大な検出対象物を、そのバリエーションの数より少ない認識辞書によって検出することができると共に、検出精度を向上させることができる。
また、本実施形態によれば、パーツ領域毎に複数のパーツスコア(パーツ辞書)を抽出し、パーツ組合せの全てについて組合せの妥当性を考慮した仮統合スコアを求め、その仮統合スコアの中から、検出対象物の有無の判定に使用する最終的な統合スコアを決定しているため、検出対象物の検出をよりロバストに行うことができる。
なお、本実施形態でも第1実施形態に対する第2実施形態と同様に、車両情報から推定したシーンに基づくパーツ辞書の選択を省略してもよい。この場合、更に、統合スコアの算出に関わるパーツ辞書の組合せからシーンを推定してもよい。
[他の実施形態]
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。例えば、1つの構成要素が有する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を1つの構成要素に統合したりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。
上記実施形態では、認識辞書を、全体辞書とパーツ領域毎のパーツ辞書とで構成しているが、全体辞書を省略し、パーツ辞書だけで構成してもよい。また、上記実施形態では、単一の全体辞書を用いているが、複数の全体辞書を用いてもよい。
上記実施形態では、統合スコアや仮統合スコアを算出する際に用いる全身スコアの重みαを固定値としているが、パーツスコアの重みと同様に、パーツの組合せに応じた可変値を用いてもよい。
上記実施形態では、統合スコアや仮統合スコアの算出に用いる重みを、パーツの組合せに応じて変化させているが、車両情報から推定されるシーン(状況)に応じて変化させるようにしてもよい。この場合、例えば、近距離で足元が写らない状況では上半身を重視したり、夜間で上半身が暗い状況では下半身を重視したりしてもよい。更に、サイズ、位置が異なる複数のパーツ(パーツ領域)を配置し、シーンによって使用するパーツの組合せを選択するようにしてもよい。
1…物体検出装置 2…画像入力部 3…車両情報入力部 4…検出結果出力部 10…演算処理部 11…記憶部

Claims (6)

  1. 検出対象物の認識に使用する認識辞書を、認識処理の対象となる対象領域中に設定された複数のパーツ領域別、且つ該パーツ領域にて検出されるパーツの見た目の違いを表すタイプ別に記憶する記憶手段(11)と、
    入力画像から切り出された領域を前記対象領域とし、前記記憶手段に記憶された認識辞書の少なくとも一部を用いて、前記パーツ領域のそれぞれについて、前記タイプ毎に前記認識辞書との類似度を表すパーツスコアを算出するパーツスコア算出手段(S160,S165)と、
    前記パーツスコア算出手段にて算出されたパーツスコアを、前記パーツ領域のそれぞれから一つずつ選択し重み付けして統合した統合スコアを算出する統合スコア算出手段(S170,S175,S190,S192,S194)と、
    前記統合スコア算出手段にて算出された統合スコアを用いて前記対象領域に検出対象物が存在するか否かを判断する判断手段(S210)と、
    を備えることを特徴とする物体検出装置。
  2. 前記統合スコア算出手段は、前記統合スコアの算出に関わる前記認識辞書の組合せに従って、前記パーツスコアを統合する際に使用する重みを可変設定することで、前記統合スコア算出手段が算出する統合スコアを調節することを特徴とする請求項1に記載の物体検出装置。
  3. 前記統合スコア算出手段は、
    前記パーツ領域毎に、前記パーツスコアが最大のものを該パーツ領域の代表スコアとして選択する代表スコア選択手段(S170)と、
    前記代表スコア選択手段によって選択された代表スコアを重み付け加算することによって、前記統合スコアを算出するスコア統合手段(S190)と、
    を備えることを特徴とする請求項1又は請求項2に記載の物体検出装置。
  4. 前記統合スコア算出手段は、
    前記パーツ領域毎に、前記パーツスコアが予め設定された閾値以上のものを候補スコアとして抽出し、該候補スコアの算出に用いたパーツ辞書を特定する候補スコア抽出手段(S175)と、
    前記パーツ領域のそれぞれで適用される前記パーツ辞書を、一つずつ選択して組み合わせたものをパーツ組合せとして、前記候補スコア抽出手段で特定されたパーツ辞書によって生成される全てのパーツ組合せについて、前記候補スコアを重み付け加算した仮統合スコアを算出する仮統合スコア算出手段(S192)と、
    前記仮統合スコア算出手段にて算出された仮統合スコアの中で最大のものを前記統合スコアとして選択する統合スコア選択手段(S194)と、
    を備えることを特徴とする請求項1又は請求項2に記載の物体検出装置。
  5. 前記統合スコアの算出に使用された前記パーツスコアに対応する前記認識辞書の組合せに基づいて前記入力画像に示されたシーン、又は前記検出対象物の状態のうち少なくとも一方を推定する推定手段(S215)を備えることを特徴とする請求項1乃至請求項4のいずれか1項に記載の物体検出装置。
  6. 車両に搭載されたセンサまたは機器から得られる情報に従って、前記入力画像に示されたシーンを推定し、その推定結果に従って、前記パーツスコア算出手段で使用する前記認識辞書を選択する辞書選択手段(S120)と、
    を備えることを特徴とする請求項1乃至請求項4のいずれか1項に記載の物体検出装置。
JP2013107119A 2013-05-21 2013-05-21 物体検出装置 Active JP5794255B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013107119A JP5794255B2 (ja) 2013-05-21 2013-05-21 物体検出装置
US14/282,316 US9501720B2 (en) 2013-05-21 2014-05-20 Object detection apparatus
DE102014209584.0A DE102014209584A1 (de) 2013-05-21 2014-05-20 Objekterfassungsvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013107119A JP5794255B2 (ja) 2013-05-21 2013-05-21 物体検出装置

Publications (2)

Publication Number Publication Date
JP2014229010A JP2014229010A (ja) 2014-12-08
JP5794255B2 true JP5794255B2 (ja) 2015-10-14

Family

ID=51863388

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013107119A Active JP5794255B2 (ja) 2013-05-21 2013-05-21 物体検出装置

Country Status (3)

Country Link
US (1) US9501720B2 (ja)
JP (1) JP5794255B2 (ja)
DE (1) DE102014209584A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5720627B2 (ja) * 2012-06-11 2015-05-20 株式会社デンソー 人検出装置
CN103679743B (zh) * 2012-09-06 2016-09-14 索尼公司 目标跟踪装置和方法,以及照相机
US10346465B2 (en) 2013-12-20 2019-07-09 Qualcomm Incorporated Systems, methods, and apparatus for digital composition and/or retrieval
JP6253467B2 (ja) * 2014-03-24 2017-12-27 東芝アルパイン・オートモティブテクノロジー株式会社 画像処理装置および画像処理プログラム
JP6256239B2 (ja) * 2014-07-25 2018-01-10 株式会社デンソー 歩行者検出装置および歩行者検出方法
CN104392223B (zh) * 2014-12-05 2017-07-11 青岛科技大学 二维视频图像中的人体姿态识别方法
JP2016171526A (ja) * 2015-03-13 2016-09-23 株式会社東芝 画像センサ、人検出方法、制御システム、制御方法及びコンピュータプログラム
JP6582474B2 (ja) * 2015-03-20 2019-10-02 株式会社デンソー 衝突余裕時間算出装置及び衝突回避システム
US20170213080A1 (en) * 2015-11-19 2017-07-27 Intelli-Vision Methods and systems for automatically and accurately detecting human bodies in videos and/or images
US10949983B2 (en) 2015-12-18 2021-03-16 Ricoh Company, Ltd. Image processing apparatus, image processing system, image processing method, and computer-readable recording medium
JP2017165345A (ja) * 2016-03-18 2017-09-21 株式会社Jvcケンウッド 物体認識装置、物体認識方法、及び物体認識プログラム
US10235786B2 (en) * 2016-10-14 2019-03-19 Adobe Inc. Context aware clipping mask
US10628960B2 (en) * 2016-11-24 2020-04-21 Ricoh Company, Ltd. Information processing apparatus, imaging apparatus, device control system, moving object, information processing method, and recording medium
US10614604B2 (en) 2017-12-04 2020-04-07 International Business Machines Corporation Filling in an entity within an image
US10636186B2 (en) 2017-12-04 2020-04-28 International Business Machines Corporation Filling in an entity within a video
WO2020003510A1 (ja) * 2018-06-29 2020-01-02 富士通株式会社 特定方法、判定方法、特定プログラム、判定プログラムおよび情報処理装置
US11514703B2 (en) 2018-08-07 2022-11-29 Canon Kabushiki Kaisha Detection device and control method of the same
JP7204421B2 (ja) 2018-10-25 2023-01-16 キヤノン株式会社 検知装置およびその制御方法
JP6745465B1 (ja) * 2019-03-06 2020-08-26 パナソニックIpマネジメント株式会社 車両及びカメラモジュール
US11948303B2 (en) * 2021-02-26 2024-04-02 Capsovision Inc. Method and apparatus for objective assessment of gastrointestinal conditions based on images captured in the GI tract

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5214717A (en) * 1990-02-26 1993-05-25 Fujitsu Limited Pattern recognition data processing device using an associative matching method
JP2003006642A (ja) 2001-06-22 2003-01-10 Toshihiko Shimizu 熱画像を利用した画像処理装置
JP3987048B2 (ja) 2003-03-20 2007-10-03 本田技研工業株式会社 車両周辺監視装置
JP3934119B2 (ja) 2004-06-14 2007-06-20 本田技研工業株式会社 車両周辺監視装置
US7945099B2 (en) * 2005-05-09 2011-05-17 Like.Com System and method for use of images with recognition analysis
JP2007206833A (ja) * 2006-01-31 2007-08-16 Toshiba Corp 生体照合方法および生体照合装置
JP4203512B2 (ja) 2006-06-16 2009-01-07 本田技研工業株式会社 車両周辺監視装置
JP2008181423A (ja) 2007-01-25 2008-08-07 Fujitsu Ten Ltd 歩行者認識装置および歩行者認識方法
JP5478928B2 (ja) * 2009-03-31 2014-04-23 綜合警備保障株式会社 人物同定装置、人物同定方法、及び人物同定プログラム
EP2490171B1 (en) 2009-10-16 2020-11-25 Nec Corporation Person image search starting from clothing query text.
JP5385752B2 (ja) * 2009-10-20 2014-01-08 キヤノン株式会社 画像認識装置、その処理方法及びプログラム
JP5671224B2 (ja) * 2009-10-20 2015-02-18 キヤノン株式会社 画像処理装置、画像処理方法
US20120063689A1 (en) * 2010-09-15 2012-03-15 The Johns Hopkins University Object recognition in an image
JP2012108785A (ja) * 2010-11-18 2012-06-07 Panasonic Corp 人数カウント装置、人数カウント方法及び人数カウントプログラム
CN103164713B (zh) * 2011-12-12 2016-04-06 阿里巴巴集团控股有限公司 图像分类方法和装置
JP5918996B2 (ja) * 2011-12-27 2016-05-18 キヤノン株式会社 被写体認識装置および辞書データ登録方法
US9443137B2 (en) * 2012-05-08 2016-09-13 Samsung Electronics Co., Ltd. Apparatus and method for detecting body parts

Also Published As

Publication number Publication date
US20140348383A1 (en) 2014-11-27
DE102014209584A1 (de) 2014-11-27
US9501720B2 (en) 2016-11-22
JP2014229010A (ja) 2014-12-08

Similar Documents

Publication Publication Date Title
JP5794255B2 (ja) 物体検出装置
EP3367084B1 (en) Road surface state determination device and method
JP4263737B2 (ja) 歩行者検知装置
JP4708124B2 (ja) 画像処理装置
JP6158779B2 (ja) 画像処理装置
JP5482737B2 (ja) 視認負荷量推定装置、運転支援装置、および視認負荷量推定プログラム
JP2014215877A (ja) 物体検出装置
EP2919159A2 (en) Image processing device and image processing method
CN105426863B (zh) 检测车道线的方法和装置
JP2013537661A (ja) ステレオビジョン技術を使用することによる移動物体の自動検出
KR101483742B1 (ko) 지능형 차량의 차선 검출방법
JP4645433B2 (ja) 図形中心検出方法、楕円検出方法、画像認識装置、制御装置
KR101866381B1 (ko) 변형 가능한 파트 모델을 사용한 보행자 검출 장치 및 방법
JP2005311691A (ja) 物体検出装置及び方法
JP2012221162A (ja) 対象物検出装置及びプログラム
JP2007334511A (ja) 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム
JP6375911B2 (ja) カーブミラー検出装置
US9727792B2 (en) Method and device for tracking-based visibility range estimation
CN104517099A (zh) 滤波装置和环境识别系统
JP2007011490A (ja) 道路パラメータ検出装置および道路パラメータ検出方法
CN108629227B (zh) 在图像中确定车辆左右边界的方法及系统
Lakmal et al. Pothole detection with image segmentation for advanced driver assisted systems
JP4823753B2 (ja) 車両の周辺監視装置
JP4627305B2 (ja) 車両周辺監視装置、車両周辺監視方法、及び車両周辺監視用プログラム
KR100976142B1 (ko) 차량검출방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150727

R151 Written notification of patent or utility model registration

Ref document number: 5794255

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250