JP6390671B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP6390671B2
JP6390671B2 JP2016149732A JP2016149732A JP6390671B2 JP 6390671 B2 JP6390671 B2 JP 6390671B2 JP 2016149732 A JP2016149732 A JP 2016149732A JP 2016149732 A JP2016149732 A JP 2016149732A JP 6390671 B2 JP6390671 B2 JP 6390671B2
Authority
JP
Japan
Prior art keywords
tracking
matching
vehicle
template
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016149732A
Other languages
English (en)
Other versions
JP2018018393A (ja
Inventor
相澤 知禎
知禎 相澤
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to JP2016149732A priority Critical patent/JP6390671B2/ja
Publication of JP2018018393A publication Critical patent/JP2018018393A/ja
Application granted granted Critical
Publication of JP6390671B2 publication Critical patent/JP6390671B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00791Recognising scenes perceived from the perspective of a land vehicle, e.g. recognising lanes, obstacles or traffic signs on road scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6201Matching; Proximity measures
    • G06K9/6202Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30236Traffic on road, railway or crossing
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior

Description

本発明は、連続したフレームに含まれる物体を追跡する技術に関する。

監視システムなどにおいて、画像に含まれる物体を検知し、その動きを自動的に追跡する技術が知られている。物体の追跡は、例えば、追跡対象の物体が映っていない画像と映っている画像との差分を取得してテンプレートを生成し、当該テンプレートを用いて1フレームずつ画像内を探索することで実現することができる(特許文献1)。

物体の追跡を応用したシステムに、交通流計測システムがある。例えば路側に設置されたカメラを用いて道路上を撮影し、通過する車両を追跡することで、対象の地点を通過した車両の台数をカウントすることができる(特許文献2)。

特開2001−060269号公報 特開2009−087316号公報 特開2013−255062号公報

道路を撮影した画像(動画)に基づいて、当該道路上を通過する車両を追跡しようとした場合、画像上における車両の見え方が大きく変化すると、車両を追跡しきれなくなるという問題がある。例えば、車両が道路上で右左折した場合やUターンした場合、車両の向きが変わってしまうため、パターンマッチングが失敗してしまう場合がある。また、監視カメラなど、姿勢の制御が可能なカメラによって撮影した画像を流用して車両を追跡しようとした場合、カメラの姿勢(パン、チルト、ズーム等)の変化に伴って車両の見え方(大きさなど)が変化するため、同様にパターンマッチングが失敗してしまう場合がある。
このように、画像上において追跡対象の車両の大きさや見え方が変化すると、パターンマッチングの精度が低下するという問題がある。

一方、特許文献3に記載の被写体追跡装置は、被写体のボケ度合いに基づいて当該被写体の動きを判定することで、被写体の見え方の変化に追従させるという特徴を有している。
しかし、道路上の車両を追跡する場合、カメラと車両との距離が離れているため、ボケの変化が把握しづらい。すなわち、当該技術を車両の追跡に応用することは困難である。

本発明は上記の課題を考慮してなされたものであり、物体を追跡する画像処理装置において、追跡対象物の見え方が変化した場合における追跡精度を向上させることを目的とする。

上記課題を解決するための、本発明に係る画像処理装置は、
連続して撮影された複数の画像に含まれる追跡対象物を追跡する画像処理装置であって、画像を取得する画像取得手段と、前記画像に含まれる追跡対象物をマッチングによって検出し、複数の画像間における前記追跡対象物の移動量および移動方向を取得する追跡手段と、を有し、前記追跡手段は、前記追跡対象物に対応する第一のテンプレートを用いて第一のマッチングを行い、かつ、前記第一のマッチングを行った結果のスコアが第一の閾値よりも低い場合に、前記第一のテンプレートとサイズまたは形状が異なる第二のテンプレートを用いて第二のマッチングを行い、前記第二のマッチングを行った結果のスコア、および、マッチングの結果特定された領域におけるエッジの強度の双方に基づいて、前記追跡対象物の追跡を終了するか否かを決定することを特徴とする。

本発明に係る画像処理装置は、複数のフレーム間における追跡対象物の移動を追跡する装置である。なお、移動とは、画像上における移動であり、追跡対象物そのものの移動と、撮影条件(カメラのパン、チルト、ズーム等)の変化の双方に起因して発生しうる。

追跡手段は、画像から追跡対象物をマッチングによって検出し、当該検出結果に基づいて追跡対象物の動き(フレーム間における移動方向や移動量)を取得する手段である。
追跡対象物の検出は、テンプレートによって行う。テンプレートには、特徴量を利用してもよいし、画像などを利用してもよい。例えば、車両を追跡する場合、車種(例えば、乗用車、貨物車、バス、オートバイ等)ごとの特徴量を用いてもよいし、既に追跡を行った結果がある場合、追跡結果に基づいて切り出した画像を用いてもよい。この結果、追跡対象物に対応する座標や領域を得ることができる。
また、追跡手段は、取得した画像に含まれる追跡対象物を、連続して取得した複数のフレーム間で追跡する。例えば、検出した追跡対象物の位置の変化を取得し、それぞれの動きを追跡対象物単位で取得する。

本発明では、追跡手段が、まず、第一のテンプレートを用いて第一のマッチングを行う。第一のテンプレートは、予め記憶されているものであってもよいし、前フレーム以前の画像において追跡対象物を追跡した結果がある場合は、当該画像から追跡対象物を切り出したものであってもよい。なお、テンプレートとは、前述したように特徴量であってもよいし、画像などであってもよい。

テンプレートを用いてマッチングを行う場合、フレーム間で追跡対象物の見え方が大きく変わった場合にヒットしにくくなってしまうという問題がある。例えば、カメラがズームした場合や、追跡対象物の進行方向が変わった場合、テンプレートに対応する領域と、実際に追跡対象物が存在する領域とが一致しなくなり、これに起因して、マッチングが失敗したり、マッチングスコアが低下してしまうおそれがある。
そこで、本発明では、第一のマッチングを行った結果のスコア(マッチングの確からしさ)を取得し、第一の閾値より低い場合に、第一のテンプレートとサイズまたは形状が異なる第二のテンプレートを用いて再マッチングを行う。
第二のテンプレートは、第一のテンプレートを拡大または縮小したものであってもよいし、アスペクト比を変更したうえで変形したものであってもよい。また、第二のテンプレートは、必ずしも第一のテンプレートを変形したものである必要はなく、新たに取得されたものであってもよい。例えば、処理対象の画像よりも前のフレームにおいて前記追跡対象物を検出した結果がある場合、当該結果に基づいて新たに取得されたものであってもよい。
かかる構成によると、画像上において追跡対象物の見え方が変わった場合であっても、これに追従させることができるようになる。

また、前記追跡手段は、前記追跡対象物を検出した結果に基づいて、前記追跡対象物の進行方向の変化を推定し、変化後の進行方向に対応する前記第二のテンプレートを用いて前記第二のマッチングを行うことを特徴としてもよい。

追跡対象物の進行方向が変化すると、例えば、車両の前面が側面に変わるなど、画像上における見え方自体が大きく変化する場合がある。また、画像内に交差点が存在するような場合、追跡対象物(車両)の移動方向が変わった場合、車両の向きが変わった(例えば右左折した)ことが推定できる。このような場合、変化後の向きに対応するテンプレート
(例えば特徴量やテンプレート画像)を用いて第二のマッチングを行うようにしてもよい。かかる構成によると、追跡の精度をより向上させることができる。

また、前記追跡手段は、前記第二のマッチングを行った結果のスコア、および、マッチングの結果特定された領域におけるエッジの強度の双方に基づいて、前記追跡対象物の追跡を終了するか否かを決定することを特徴とする
また、前記追跡手段は、前記第二のマッチングを行った結果のスコアが第二の閾値よりも低く、かつ、マッチングの結果特定された領域におけるエッジの強度が第三の閾値よりも低い場合に、前記追跡対象物の追跡を終了することを特徴としてもよい。

第二のマッチングを行っても期待するスコアが得られなかった場合、追跡を続行するか終了するかを判断する。このとき、マッチングによって特定された領域(すなわち、追跡対象物の存在が推定される領域)におけるエッジの強度に基づいて判断を行。領域におけるエッジの強度とは、当該領域に含まれる画素が有するエッジ強度の和である。
例えば、マッチングによって特定された領域におけるエッジの強度が所定の閾値以下である場合、当該領域には、追跡中の物体ではなく背景が存在する可能性が高いため、追跡を終了する。このように、エッジの強度を併用することで、追跡を終了するか否かの判断を適切に行うことができるようになる。

また、前記追跡手段は、連続した所定枚数分の画像について、第一のマッチングを行った結果のスコア、または、第二のマッチングを行った結果のスコアの合計値を取得し、前記合計値に基づいて、前記追跡対象物の追跡を終了するか否かを決定することを特徴としてもよい。

複数の連続する画像に対してマッチングを行い、追跡対象物を追跡する場合、マッチングによって得られたスコアに基づいて、追跡を続行するか終了するか決定することができる。しかし、単一の画像に対するマッチング結果のみで判断を行った場合、スコアが一時的に低下し、その後回復したような場合であっても追跡が打ち切られてしまう。そこで、連続した複数の画像について、マッチングによって得られたスコアを合計し、合計値に基づいて判断を行うようにする。かかる構成によると、スコアの回復が見込めない場合にのみ追跡を終了させることができる。

また、前記追跡手段は、処理対象の画像よりも前の画像において前記追跡対象物を検出した結果がある場合に、当該結果に基づいて前記第一のテンプレートを取得することを特徴としてもよい。

追跡対象物の位置を特定できている場合、当該情報を用いて第一のテンプレートを取得してもよい。かかる構成によると、テンプレートを更新しながら追跡対象物の追跡が行えるようになるため、追跡対象物の見え方が徐々に変化していくような場合に有効である。

また、前記追跡手段は、前記追跡対象物に対応する領域を複数のブロックに分割し、エッジの強度が第四の閾値よりも低いブロックを除外した領域を、前記第一のテンプレートとすることを特徴としてもよい。

画像上において追跡対象物の向きが変わり、見え方が徐々に小さくなるケースがある。
このようなケースにおいて、フレームごとにテンプレートを更新しながら処理を進める場合、テンプレートとなる領域を徐々に縮小する必要がある。そこで、追跡対象物の存在が推定される領域から、追跡対象物が存在しない部分領域をエッジの強度に基づいて検出し、当該部分領域を削除した後の領域を、次フレームにおいて利用するテンプレートとしてもよい。
かかる構成によると、画像上における追跡対象物のサイズに合わせて、テンプレートの大きさを適切に追従させることができる。

また、前記追跡対象物は車両であり、前記複数のブロックは水平方向に配列されることを特徴としてもよい。車両を追跡する場合、主に車両の右左折に起因して、画面上における水平方向のサイズが変化するためである。

なお、本発明は、上記手段の少なくとも一部を含む画像処理装置として特定することができる。また、本発明は、上記画像処理装置が実行する画像処理方法として特定することもできる。また、本発明は、コンピュータに上記画像処理方法を実行させるプログラムとして特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

本発明によれば、物体を追跡する画像処理装置において、追跡対象物の見え方が変化した場合における追跡精度を向上させることができる。

実施形態に係る画像処理システムの配置図である。 実施形態に係る画像処理システムの構成図である。 カメラがズームした場合における影響を説明する図である。 車両が右折した場合における影響を説明する図である。 実施形態に係る画像処理装置が行う処理のフローチャート図である。 実施形態に係る画像処理装置が行う処理のフローチャート図である。 実施形態に係る画像処理装置が行う処理のフローチャート図である。 ステップS34で行う処理を説明する図である。 ステップS34で行う処理を説明する図である。

(システム構成)
以下、本発明の好ましい実施形態について図面を参照しながら説明する。
本実施形態に係る画像処理システムは、道路上を走行する車両を撮影した画像を連続して取得し、取得した複数の画像に基づいて車両の動きを追跡するシステムである。

図1は、本実施形態に係る画像処理システムの配置図である。本実施形態に係る画像処理システムは、画像処理装置100と、カメラ200からなり、画像処理装置100が、道路上に配置されたカメラ200によって連続して撮影された複数の画像を処理することで、車両の動きを追跡する。

図2は、本実施形態に係る画像処理システムのシステム構成図である。
画像処理装置100は、画像取得部101、車両検出部102、車両追跡部103、記憶部104から構成される。

画像取得部101は、道路上にマウントされたカメラ200を用いて、道路を走行する車両が含まれた画像(以下、道路画像)を取得する手段である。画像取得部101は、所定のフレームレートで、連続して道路画像を取得することができる。画像取得部101が取得した道路画像は、時系列順に記憶部104に記憶され、以降で説明する各手段が行う処理に供される。
なお、実施形態の説明では、連続して取得される道路画像のうちの一枚という意味で、フレームという語を用いるが、フレームと道路画像は等価である。また、連続したフレー
ムにおいて、撮影範囲外から新規の車両(まだ追跡を行っていない車両)が現れることを流入、追跡中の車両が撮影範囲外に出て行くことを流出と称する。

車両検出部102は、現在追跡を行っていない新しい車両がカメラ200の撮影範囲内に流入したことを検出する手段である。新しい車両の検出は、記憶部104に予め記憶された複数のテンプレートを用いて行うことができる。テンプレートは、車両を検出することができれば、どのようなものであってもよい。例えば、車種や車体の形状(乗用車、貨物車、バス、二輪車等)ごとに異なるものであってもよい。また、複数のテンプレートを用いる場合、どのように分類されていてもよい。また、車両を異なる方向(前後左右など)から見た場合のテンプレートをそれぞれ保持していてもよい。
車両検出部102は、追跡を行っていない新しい車両が現れたことを検出する手段であり、それ以降のフレームにおける車両の追跡は、車両追跡部103が行う。
なお、本実施形態では、カメラ200の撮影範囲の全域において車両を追跡するものとするが、車両を追跡する範囲は別途定められていてもよい。

車両追跡部103は、車両検出部102が検出した車両の動きを複数のフレーム間で追跡する手段である。追跡は、車両が撮影範囲外へ流出するまで続けられる。車両の追跡は、追跡対象の車両(以下、追跡対象車両)に対応するテンプレートを用いて行われる。具体的には、マッチングによる探索を行う対象領域(以下、探索領域)をフレームごとに設定し、当該領域に対してテンプレートを用いたマッチングを行う。なお、テンプレートは特徴量であってもよいが、本実施形態ではテンプレート画像であるものとする。
探索対象領域は、車両を探索する領域であって、追跡対象車両の存在が推定される場所に設定される。例えば、過去のフレームにおいて車両を検出した結果がある場合、車両追跡部103は当該結果に基づいて探索領域を設定する。
テンプレートを用いたマッチング処理の具体的な内容については後述する。

記憶部104は、装置が用いるデータを一時的または恒久的に記憶する手段である。記憶部104には、高速に読み書きでき、かつ、大容量な記憶媒体を用いることが好ましい。例えば、フラッシュメモリなどを好適に用いることができる。記憶部104には、車両検出部102および車両追跡部103が利用するテンプレート、画像取得部101が取得した複数の画像などが一時的または恒久的に記憶される。

なお、画像取得部101、車両検出部102、車両追跡部103は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。ソフトウェアとして実行される場合、補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、CPUによって実行されることによって各手段が機能する。(CPU、補助記憶装置、主記憶装置はいずれも不図示)

カメラ200は、道路上に配置された監視カメラである。本実施形態では、カメラ200は、車両の追跡だけに利用されるカメラではなく、監視目的など他の目的にも利用される共用のカメラである。従って、車両の追跡とは無関係に、パン、チルト、ズームなどが発生する場合がある。

(従来技術における課題)
次に、マッチング対象領域と、従来技術において発生する問題について説明する。図3は、カメラ200が撮影した画像を示した図である。
本実施形態に係る画像処理装置は、追跡対象車両に対応するテンプレートを取得したうえで、カメラ200によって取得した画像に対してパターンマッチングを行い、追跡対象車両の位置を検出する。

例えば、異なる車種に対応する複数のテンプレートを用いて、カメラ200が撮影した画像に対してパターンマッチングを行った結果、図3(A)の符号10Aで示した領域に車両を検出した場合を考える。

このような手法を用いた場合、画像上における車両の大きさや向きが変化した場合に、追跡が失敗することがある。図3(B)は、カメラ200がズームし、画角が小さくなった状態を示した図である。このような場合、図3(A)で使用したテンプレートを引き続き使用すると、マッチングが失敗したり、マッチングスコアが著しく低下するといった問題が発生する。この問題を解決するためには、車両の見え方の変化に追従してテンプレートのサイズを変更する(本例では、符号10Bで示したサイズに拡大する)必要がある。

別の例を示す。図4(A)〜(C)は、車両が右折する場合の例を示した図である。例示したように、車両の進行方向が変化する場合、画像上における大きさが変化するため、テンプレートもこれに追従させて変形させる(本例では、符号20A,20B,20Cといったように順次拡大する)必要がある。また、図4の例では、車両の見え方自体が変化していくため、車両の進行方向に応じて、テンプレートのサイズだけでなく、テンプレートの内容自体を更新していく必要がある。

本実施形態に係る画像処理装置は、車両の追跡において、画像上における車両の大きさや向きが変化したことを検出し、次フレームにおけるテンプレートを適切なサイズで更新する。このようにすることで、画像上における車両の見え方が変化するような場合であっても、車両に対して適切なパターンマッチングを行うことができ、正確に追跡を行うことができる。テンプレートを更新する具体的な方法については後述する。

(処理フローチャート)
次に、画像処理装置100が行う画像処理の詳細について、処理フローチャートである図5を参照しながら説明する。図5に示した処理は、画像取得部101が新規のフレームを取得するごとに実行される。例えば、フレームレートが10fpsである場合、秒間10回実行される。
まず、ステップS11で、画像取得部101が、カメラ200を介して道路画像を取得し、記憶部104に一時的に記憶させる。なお、取得された道路画像は、時系列順に記憶され、処理が完了すると削除される。

次に、ステップS12で、車両追跡部13が、現在追跡している車両が存在するか否かを判定し、ある場合に、追跡対象車両を追跡する処理を実行する。現在追跡している車両が存在するか否かは、後述するカウンタを用いて判断する。なお、ここでは、追跡中の車両が無いものとして説明を行い、ステップS12の詳細については、図6を参照しながら後ほど説明する。

ステップS13では、車両検出部102が、ステップS11で取得した画像上に、現在追跡していない車両が存在するか否かを判定する。具体的には、記憶部104に予め記憶されているテンプレートに基づいて、車両の検出を試みる。本ステップにおける車両の検出には、テンプレートに基づく既知の物体検出手法を用いることができる。例えば、記憶された複数のテンプレートを用いてマッチングを試み、初期位置と範囲を特定する。なお、検出した車両が既に追跡中の車両であった場合、当該車両はスキップする。追跡中の車両についての情報は、記憶部104を介して、車両検出部102および車両追跡部103の間で共有される。
新しい車両が検出されると、処理はステップS14へ遷移する。また、新しい車両が検出されなかった場合、当該フレームに対する処理は終了する。

車両を検出すると、ステップS14で、車両検出部102が、検出した範囲を記憶部104に記憶させる。これにより、検出された車両が追跡中の状態となる。

次に、ステップS15で、車両検出部102が、現在追跡中である車両の数(以下、追跡中車両数)に、検出した車両の台数を追加する。ここで設定された台数は、ステップS12で実行される車両追跡処理において利用される。

次に、ステップS12で行われる処理について、図6に示したフローチャートを参照しながら説明する。なお、特に記載がない場合、各ステップは車両追跡部103が実行するものとする。
ステップS12の処理は、設定されている「追跡中車両数」が1台以上である場合に実行される。すなわち、ステップS12が実行されるタイミングでは、時系列順に二つ以上のフレームが記憶部105に記憶されている。

まず、ステップS21で、カウンタnに1を設定する。nは、画像に含まれる追跡対象車両に対して順次処理を行うためのカウンタである。

次に、ステップS22で、n番目の車両に対応するテンプレートを用いて、道路画像に対するパターンマッチングを行う。ここで用いるテンプレートは、例えば、ステップS13で車両の検出に用いたテンプレートであってもよい。
本ステップでは、まず、画像に含まれるn番目の車両について、現在のフレームにおける大まかな位置を推定し、探索領域を設定する。例えば、過去の二つ以上のフレームにおいて、n番目の車両の位置の変化が求まっている場合、当該位置の変化に基づいて、現在のフレームにおける位置を推定してもよい。例えば、2フレーム前における対象車両と、1フレーム前における対象車両との位置の変化を取得し、当該変化を用いて現在のフレームにおける当該対象車両の位置を推定してもよい。また、カルマンフィルタなどを用いて車両の位置を推定してもよい。
なお、推定を行うための十分な情報が無い場合、ステップS13で検出した位置の近傍に当該対象車両がいるものと推定してもよいし、絞り込み自体を省略してもよい。
そして、対応するテンプレートを用いて第一のマッチングを行う。

ステップS23では、第一のマッチングにおけるマッチングスコアを取得し、当該マッチングスコアが所定値(第一の閾値)以上であるか否かを判定する。この結果、マッチングスコアが所定値に満たなかった場合、現在使用されているテンプレートでは追跡対象車両が正しく追跡できていないことを意味するため、以降のステップにおいて、テンプレートを変形して再度のマッチングを試みる。

ステップS24では、追跡対象車両の進行方向が変化したことを推定する。進行方向の変化は、過去の追跡結果に基づいて推定してもよい。例えば、現在設定されている探索領域の付近において、車両の位置が大きく変化したという履歴がある場合、続けて変化したと推定することができる。また、カメラ200が撮影する道路の形状に基づいて進行方向を推定してもよい。例えば、撮影対象が十字路や丁字路である場合、どちらかの方向に進行すると推定してもよい。この場合、推定結果は複数あってもよい。
なお、ステップS24の処理は省略してもよい。

ステップS25では、ステップS22で使用したテンプレートを更新し、再度のパターンマッチング(第二のマッチング)を試みる。
テンプレートの更新方法として、次のような方法がある。
(1)使用したテンプレートを単純に拡大/縮小させる
カメラがズームイン(またはズームアウト)したり、追跡対象車両が画面手前方向(ま
たは画面奥方向)に向かって走行している場合に有効な方法である(図3参照)。
(2)車両の進行方向に応じたテンプレートに差し替える
画面手前方向(または画面奥方向)に向かって走行している車両が右左折した場合、または、脇道から出た車両が右左折し、画面手前方向(または画面奥方向)に向かって走行する場合に有効な方法である(図4参照)。この場合、ステップS24で推定した進行方向の変化に基づいて、使用するテンプレートを更新する。例えば、ステップS24にて、正面を向いていた車両が左斜め方向を向いた判定した場合、左斜め前に対応するテンプレートを用いてマッチングを行うようにする。なお、差し替えたテンプレートを適切な大きさ(例えば、直前に使用したテンプレートに基づいた大きさ)にリサイズしてもよい。

ステップS26では、第二のマッチングにおけるマッチングスコアを取得し、当該マッチングスコアが所定値(第二の閾値)以上であるか否かを判定する。この結果、マッチングスコアが所定値以上であった場合(ステップS26−Yes)、追跡対象車両が正しく検出できたことを意味するため、第二のマッチング結果を追跡結果として採用する(ステップS27)。

一方、ステップS26でマッチングスコアが所定値に満たなかった場合(ステップS26−No)、追跡対象車両を見失った可能性があるため、以降のステップで、さらなる追跡を続けるか、追跡を終了するかを判定する。

図7を参照し、説明を続ける。
ステップS31では、マッチングによって特定された領域(すなわち、追跡対象車両の存在が推定される領域)を、縦1×横N個のブロックに分割する。図8は、分割の例を示した図である。本例では、図8に示したように、マッチングによって特定された領域を縦1個×横5個のブロックに分割している。
次に、ステップS32で、全てのブロックのエッジ強度が所定値以下であるか否かを判定する。ブロックのエッジ強度とは、当該ブロックに含まれる画素が有するエッジ強度の和である。例えば、取得した画像に、特定の方向に存在するエッジを抽出するSobelフィルタを適用し、得られた全ての値の絶対値の和を取得する。取得するエッジの強度は、縦方向であっても横方向であってもよい。また、両方の組み合わせであってもよい。これにより、ブロックごとのエッジ強度が得られる。
この結果、全てのブロックのエッジ強度が所定値以下であった場合、全てのブロックのいずれにも車両が存在しないことが推定されるため、n番目の車両の追跡終了フラグを真にする(ステップS38)。これは、車両が存在しないブロック(例えば道路のみが存在するブロック)に比べて、車両が存在するブロックには強いエッジが現れるためである。
エッジ強度が所定値以上であるブロックが一つでもある場合、処理はステップS33に遷移する。

ステップS33では、n番目の車両に対するマッチングスコアの、過去kフレーム(kは任意の整数)ぶんの合計値を演算し、合計値が所定値以下であるか否かを判定する。ここで演算するマッチングスコアは、第一のマッチングに対応するスコアであってもよいし、第二のマッチングに対応するスコアであってもよい。ここで、合計値が所定値以下であった場合、マッチングスコアが恒久的に低下していることが推定されるため、n番目の車両の追跡終了フラグを真にする(ステップS38)。
合計値が所定値を上回っていた場合、処理はステップS34に遷移する。

ステップS34では、ステップS32で分割したブロックのうち、エッジの強度が所定値以下であるブロックを削除する。本ステップは、車両の進行方向が変化したことをエッジの強度に基づいて推定し、車両が存在する領域を特定するステップである。例えば、図8の例の場合、領域805のエッジの強度が所定値以下となるため、領域805に車両は
存在しないと判定する。そして、領域801〜804に対応する画像を切り出して新たなテンプレートとする。ここで取得されたテンプレートは、次フレーム以降におけるマッチングで利用される。

図9を参照して、具体的な例を説明する。図9は、脇道から出てきた車両が右折し、画像手前方向に走ってくる場合の例である。
前述した方法によって処理を行うと、符号901および902で示した領域が削除され、残った領域に対応する画像が新たなテンプレートとなる。
以上で、n番目の車両に対する追跡処理が終了する。

ステップS34の処理終了後、または、ステップS23で肯定判定だった場合や、ステップS27の処理終了後、ステップS38の処理終了後は、処理はステップS35へ遷移する。
ステップS35では、カウンタnをインクリメントし、ステップS36で、カウンタnが、追跡中の車両数を超えたか否かを判定する。この結果、超えていない場合、処理はステップS22に戻り、次の車両に対する追跡を開始する。超えていた場合、追跡中の車両数から追跡を終了した車両の数(追跡終了フラグが真である車両の数)を減算する。
なお、更新されたテンプレートは、次のフレームにおける処理で利用される。
また、本例ではステップS22へ戻ったが、ステップS24またはステップS25へ戻り、第二のマッチングから処理を行うようにしてもよい。

以上説明したように、本実施形態に係る画像処理装置では、第一のテンプレートを用いたパターンマッチング結果で十分なスコアが得られなかった場合に、車両の見え方の変化を予測してテンプレートを更新し、パターンマッチングを再試行する。これにより、画像上における車両の見え方が急激に変化した場合であっても、これに追従させることができる。
また、追跡対象車両の存在が推定される領域を解析することで、追跡を終了するか続行するかを判断する。これにより、車両以外の物体を車両と誤認識し、追跡を続けてしまうことを防ぐことができる。
すなわち、車両の追跡精度を向上させることができる。

(変形例)
前述した実施形態では、ステップS23で所定のスコアが得られなかった場合(またはマッチングが失敗した場合)に、追跡対象車両の進行方向の変化を推定したうえでテンプレートを更新し、再度のマッチングを行ったが、これ以外の処理を行ってもよい。
例えば、スコアは高くないがマッチングが成功したと言える場合に、追跡対象車両の見た目が徐々に変化している判断し、第一のマッチング結果を採用したうえで、次フレーム以降で使用するテンプレートを、変化後の見た目に応じたテンプレートに更新してもよい。
なお、変化後の見た目に応じたテンプレートを取得するために、ステップS24で説明したような、進行方向の変化を推定する処理を併用してもよい。

なお、前述した実施形態と、本変形例を併用してもよい。例えば、ステップS23で複数の閾値を設定し、得られたスコアに応じて、いずれの処理を実行するかを決定してもよい。例えば、ステップS23で、閾値Aおよび閾値B(A>Bとする)によってスコアを三段階に分け、スコアが閾値A未満、閾値B以上であった場合に、本変形例で述べた処理を行い、スコアが閾値B未満であった場合に、ステップS24〜S27の処理を行うようにしてもよい。

(その他の変形例)
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。

例えば、ステップS31〜S34のうちのいずれか一部を省略しても、本発明の効果は得ることができる。

また、実施形態の説明では、テンプレート画像を用いてマッチングを行ったが、マッチングは特徴量を用いて行ってもよい。また、テンプレート画像を用いる場合、一枚のテンプレート画像を用いてマッチングを行ってもよいし、テンプレート画像を複数のブロックに分割し、ブロックごとにマッチングを行ってもよい。例えば、複数のブロックにおける平均値を求めてもよいし、外れ値を削除したうえで平均値を求めてもよい。

また、実施形態の説明では、ステップS25で更新後のテンプレートを取得したが、画像上における見え方の変化が複数パターン考えられる場合(例えば、車両が直進、左折、右折の三方向に進行可能であるような場合)、テンプレートを複数個取得し、それぞれについてマッチングを行うようにしてもよい。この場合、いずれの結果でも所定のスコアが得られなかった場合に、ステップS26を否定判定とすればよい。
また、本発明に係る画像処理装置が追跡する対象物は、車両に限られない。

100 画像処理装置
101 画像取得部
102 車両検出部
103 車両追跡部
104 記憶部
200 カメラ

Claims (9)

  1. 連続して撮影された複数の画像に含まれる追跡対象物を追跡する画像処理装置であって、
    画像を取得する画像取得手段と、
    前記画像に含まれる追跡対象物をマッチングによって検出し、複数の画像間における前記追跡対象物の移動量および移動方向を取得する追跡手段と、
    を有し、
    前記追跡手段は、前記追跡対象物に対応する第一のテンプレートを用いて第一のマッチングを行い、かつ、
    前記第一のマッチングを行った結果のスコアが第一の閾値よりも低い場合に、前記第一のテンプレートとサイズまたは形状が異なる第二のテンプレートを用いて第二のマッチングを行い、
    前記第二のマッチングを行った結果のスコア、および、マッチングの結果特定された領域におけるエッジの強度の双方に基づいて、前記追跡対象物の追跡を終了するか否かを決定する
    ことを特徴とする、画像処理装置。
  2. 前記追跡手段は、前記追跡対象物を検出した結果に基づいて、前記追跡対象物の進行方向の変化を推定し、変化後の進行方向に対応する前記第二のテンプレートを用いて前記第二のマッチングを行う
    ことを特徴とする、請求項1に記載の画像処理装置。
  3. 前記追跡手段は、前記第二のマッチングを行った結果のスコアが第二の閾値よりも低く、かつ、マッチングの結果特定された領域におけるエッジの強度が第三の閾値よりも低い場合に、前記追跡対象物の追跡を終了する
    ことを特徴とする、請求項1または2に記載の画像処理装置。
  4. 前記追跡手段は、連続した所定枚数分の画像について、第一のマッチングを行った結果のスコア、または、第二のマッチングを行った結果のスコアの合計値を取得し、前記合計値に基づいて、前記追跡対象物の追跡を終了するか否かを決定する
    ことを特徴とする、請求項1からのいずれかに記載の画像処理装置。
  5. 前記追跡手段は、処理対象の画像よりも前の画像において前記追跡対象物を検出した結果がある場合に、当該結果に基づいて前記第一のテンプレートを取得する
    ことを特徴とする、請求項1からのいずれかに記載の画像処理装置。
  6. 前記追跡手段は、前記追跡対象物に対応する領域を複数のブロックに分割し、エッジの強度が第四の閾値よりも低いブロックを除外した領域を、前記第一のテンプレートとする
    ことを特徴とする、請求項に記載の画像処理装置。
  7. 前記追跡対象物は車両であり、前記複数のブロックは水平方向に配列される
    ことを特徴とする、請求項に記載の画像処理装置。
  8. 連続して撮影された複数の画像に含まれる追跡対象物を追跡する画像処理装置が行う画像処理方法であって、
    画像を取得する画像取得ステップと、
    前記画像に含まれる追跡対象物をマッチングによって検出し、複数の画像間における前記追跡対象物の移動量および移動方向を取得する追跡ステップと、
    を含み、
    前記追跡ステップでは、前記追跡対象物に対応する第一のテンプレートを用いて第一のマッチングを行い、かつ、
    前記第一のマッチングを行った結果のスコアが第一の閾値よりも低い場合に、前記第一のテンプレートとサイズまたは形状が異なる第二のテンプレートを用いて第二のマッチングを行い、
    前記第二のマッチングを行った結果のスコア、および、マッチングの結果特定された領域におけるエッジの強度の双方に基づいて、前記追跡対象物の追跡を終了するか否かを決定する
    ことを特徴とする、画像処理方法。
  9. 請求項に記載の画像処理方法をコンピュータに実行させるプログラム。
JP2016149732A 2016-07-29 2016-07-29 画像処理装置および画像処理方法 Active JP6390671B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016149732A JP6390671B2 (ja) 2016-07-29 2016-07-29 画像処理装置および画像処理方法

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2016149732A JP6390671B2 (ja) 2016-07-29 2016-07-29 画像処理装置および画像処理方法
PCT/JP2017/007731 WO2018020722A1 (ja) 2016-07-29 2017-02-28 画像処理装置および画像処理方法
KR1020187005257A KR102011230B1 (ko) 2016-07-29 2017-02-28 화상 처리 장치 및 화상 처리 방법
US15/756,106 US10521917B2 (en) 2016-07-29 2017-02-28 Image processing apparatus and image processing method for object tracking
EP17833733.3A EP3493156A4 (en) 2016-07-29 2017-02-28 Image processing apparatus and image processing method
CN201780002922.8A CN107924569A (zh) 2016-07-29 2017-02-28 图像处理装置和图像处理方法

Publications (2)

Publication Number Publication Date
JP2018018393A JP2018018393A (ja) 2018-02-01
JP6390671B2 true JP6390671B2 (ja) 2018-09-19

Family

ID=61016571

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016149732A Active JP6390671B2 (ja) 2016-07-29 2016-07-29 画像処理装置および画像処理方法

Country Status (6)

Country Link
US (1) US10521917B2 (ja)
EP (1) EP3493156A4 (ja)
JP (1) JP6390671B2 (ja)
KR (1) KR102011230B1 (ja)
CN (1) CN107924569A (ja)
WO (1) WO2018020722A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6294924B2 (ja) * 2016-09-05 2018-03-14 株式会社Subaru 車両の走行制御装置
CN109120904A (zh) * 2018-10-19 2019-01-01 武汉星巡智能科技有限公司 双目摄像头监控方法、装置及计算机可读存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2324428A (en) * 1997-04-17 1998-10-21 Sharp Kk Image tracking; observer tracking stereoscopic display
JP3651745B2 (ja) * 1998-03-17 2005-05-25 株式会社東芝 物体領域追跡装置および物体領域追跡方法
JP3768073B2 (ja) 1999-06-15 2006-04-19 株式会社日立国際電気 物体追跡方法及び物体追跡装置
US6687386B1 (en) 1999-06-15 2004-02-03 Hitachi Denshi Kabushiki Kaisha Object tracking method and object tracking apparatus
JP3560326B2 (ja) * 1999-06-15 2004-09-02 株式会社日立国際電気 物体追跡方法及び物体追跡装置
US6988610B2 (en) * 2002-01-14 2006-01-24 Carnegie Mellon University Conveyor belt inspection system and method
JP2006276948A (ja) * 2005-03-28 2006-10-12 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記憶した記録媒体
US7623681B2 (en) * 2005-12-07 2009-11-24 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
WO2008114683A1 (ja) * 2007-03-16 2008-09-25 Nikon Corporation 被写体追跡用コンピュータプログラム製品、被写体追跡装置、およびカメラ
US8457392B2 (en) * 2007-07-27 2013-06-04 Sportvision, Inc. Identifying an object in an image using color profiles
JP5128339B2 (ja) 2007-09-11 2013-01-23 株式会社日立製作所 交通流計測システム
WO2010098024A1 (ja) * 2009-02-24 2010-09-02 三菱電機株式会社 人物追跡装置及び人物追跡プログラム
JP5895720B2 (ja) 2012-06-06 2016-03-30 富士通株式会社 被写体追跡装置、被写体追跡方法及び被写体追跡用コンピュータプログラム
JP2014092935A (ja) * 2012-11-02 2014-05-19 Aisin Aw Co Ltd 先行車認識システム、先行車認識方法、及び先行車認識プログラム

Also Published As

Publication number Publication date
EP3493156A1 (en) 2019-06-05
WO2018020722A1 (ja) 2018-02-01
CN107924569A (zh) 2018-04-17
US20190139231A1 (en) 2019-05-09
KR102011230B1 (ko) 2019-08-14
KR20180034534A (ko) 2018-04-04
JP2018018393A (ja) 2018-02-01
US10521917B2 (en) 2019-12-31
EP3493156A4 (en) 2020-05-13

Similar Documents

Publication Publication Date Title
EP3084577B1 (en) Selection and tracking of objects for display partitioning and clustering of video frames
US10753758B2 (en) Top-down refinement in lane marking navigation
Wu et al. Lane-mark extraction for automobiles under complex conditions
EP2463843B1 (en) Method and system for forward collision warning
US8902053B2 (en) Method and system for lane departure warning
US6246961B1 (en) Collision alarm method and apparatus for vehicles
EP1574992B1 (en) Method and device for tracking moving objects in images
JP3846494B2 (ja) 移動障害物検出装置
US6687386B1 (en) Object tracking method and object tracking apparatus
US10204277B2 (en) Electronic device, traveling lane identifying system, and traveling lane identifying method
US6330511B2 (en) Danger deciding apparatus for motor vehicle and environment monitoring apparatus therefor
JP3503230B2 (ja) 夜間用車両認識装置
JP4822766B2 (ja) 路面標示認識装置及びシステム
KR101543105B1 (ko) 보행자 인식 장치 및 그의 처리 방법과 이를 지원하는 차량
JP4603970B2 (ja) Road marking line detection device
EP2369552B1 (en) Approaching object detection system
JP4309920B2 (ja) 車載用ナビゲーション装置、路面標示識別プログラム及び路面標示識別方法
JP4622001B2 (ja) 道路区画線検出装置および道路区画線検出方法
US7969470B2 (en) Moving object detection apparatus, method and program
US7250593B2 (en) Mobile body surrounding surveillance apparatus, mobile body surrounding surveillance method, control program, and readable recording medium
EP1995692A2 (de) Verfahren zur Erkennung und Verfolgung von Objekten
JP5594246B2 (ja) 車線認識装置
KR20190039648A (ko) 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터
US8848980B2 (en) Front vehicle detecting method and front vehicle detecting apparatus
US10081308B2 (en) Image-based vehicle detection and distance measuring method and apparatus

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180417

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180806

R150 Certificate of patent or registration of utility model

Ref document number: 6390671

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150