JP5581105B2 - 移動体検出装置 - Google Patents

Description

本発明は、画像から移動体を検出する装置に関する。

カメラで取得した画像から移動体のみを抽出する技術の用途は幅広く、監視システムでは不審物の発見、車載システムでは障害物の回避などに用いることができる。
その移動体抽出手法として、非特許文献１には背景差分法が紹介されている。この手法は、移動体が存在しない状況で撮影した画像を背景画像としてあらかじめ準備し、運用時には、撮影した画像と背景画像との差分を取り、変化の大きい領域を移動体が存在する領域として検出する、という手法である。また、非特許文献２にはフレーム間差分法が紹介されている。この手法は、時系列で撮影された画像間で差分を取り、変化のある領域を移動体が存在する領域として検出する、というものである。

顔チャットＴＭシステム（著：井田孝他、東芝レビュー、Ｖｏｌ．５７、Ｎｏ．６、ｐｐ．２６〜２９） ２視点からの映像を利用したサッカーボール追跡手法（著：石井規弘他、ＭＩＲＵ２００７講演論文集、ｐｐ．１０３５〜１０４０）

しかし、背景差分法では背景画像の準備や更新が必要となる。この手法はカメラが空間に固定されるような場合には有効であるが、カメラが移動し、撮影した画像上で背景が移り変わっていくような場合には適用することができない。例えば、コンビニエンスストアに設置される監視カメラなどには適用可能であるが、カメラを搭載した航空機により上空から陸上や海上を監視するシステムや、自動車に搭載する障害物検知システムなどでは背景画像の事前作成ができずに適用が困難となる。また、固定カメラの場合でも、周囲の照明が時々刻々変化するような空間では明暗の変化を移動体と誤認識する場合があり、問題となっている。
これに対し、フレーム間差分法は背景が変化する場合にも適用が可能である。ただし、連続する２フレームが撮影される間に移動体が自身の大きさ１つ分よりも大きく移動していなければ、その移動体を検出することができない。このことは、検出可能な移動体の速度が限定されてしまうことを示している。高速に移動する物体を検出するためには、取りこぼしが発生しないように撮影間隔を短くする必要があるが、そうすると低速の移動体の移動量が２フレーム間で小さくなり、検出不可能となる。逆に、低速に移動する物体を検出するためには、２フレーム間の移動量を大きくするため撮影間隔を長くする必要があるが、高速の移動体は撮影のインターバル中に過ぎ去ってしまい撮影できなくなる。つまり、たとえば、時速１０ｋｍで走行する自動車と時速１００ｋｍで走行する自動車を同時に検出することができない、という問題が発生する。

上記のように、移動するカメラから撮影した画像から移動体を検出する際、従来の手法では検出可能な移動体の速度が限定されていた。

本発明によると、連続する２フレームが撮影される間に移動体が自身の大きさ１つ分よりも小さい移動をしている場合でもその移動体を検出することができ、検出可能な移動体の速度の範囲を広げることができる。

上記課題を解決するために、本発明の移動体検出装置では、複数の撮影画像から作成された差分画像において、１つの移動体が対称的な２つ１組の領域を持つことに着目する。例えば、上空から道路を走行する自動車を連続して撮影する場合、それらの画像から作成される差分画像において、注目する自動車は、前方には道路の色から自動車の色への色変化を持つ領域を、後方には自動車の色から道路の色への色変化を持つ領域を形成する。そのため、差分画像において２つの領域の色変化は符号を反転させたような対称的な関係を持つ。このことに着目し、差分画像に基づき色変化の大きい複数の変化領域を抽出し、抽出した変化領域から対称的な色変化を持つ領域の組を選出し、それら選出された２つの領域を包括する領域を移動体が撮影されている領域として検出する。

そのため、本発明では、少なくとも２枚の画像から色変化を表す差分画像を算出し、差分画像に基づき変化領域を抽出し、それぞれの変化領域に対し対称的な色変化を持つ他の変化領域を探索し、探索の結果に基づき移動体を含む移動体領域を検出することを特徴とする演算部を備えた移動体検出装置を提供する。

本発明の移動体検出装置によれば、カメラによって撮影される画像の背景が時間と共に変化するような場合において、連続する２フレームが撮影される間に移動体が自身の大きさ１つ分よりも小さい移動をしている場合でもその移動体を検出することができる。その結果、検出可能な移動体の速度の範囲を広げることができる。

本発明の第一の実施形態の動作を表す概念図である。 本発明の第一の実施形態の動作を表すフローチャートである。 本発明の第二の実施形態の動作を表す概念図である。 本発明の第二の実施形態の動作を表すフローチャートである。 画像間位置合わせの様子を表す概念図である。

本発明の第一の実施形態について説明する。
図１は、本発明の第一の実施形態の動作を表す概念図であり、図２は、本発明の第一の実施形態の動作を表すフローチャートである。図１では、２枚の画像１００ａ、１００ｂに移動体３００ａ、３００ｂが写っている。
演算部に２枚の画像１００が入力されると、演算部はそれらの色変化を示す差分画像１１０を作成する（Ｓ１０）。演算部は、差分画像１１０の各画素に対し、一方の画像１００において対応する画素の色と他方の画像１００において対応する画素の色とを比較して色変化を算出し、その色変化を表す値を与える。図１では、２枚の画像１００ａ、１００ｂから差分画像１１０ａが作成されている。
続いて、演算部は、差分画像１１０の各画素が示す色変化に基づき、２枚の画像１００の間で変化した領域を示す変化領域２００を抽出する(Ｓ２０)。演算部は、差分画像１１０の各画素に対し、その画素の色変化と閾値に基づきその画素が色変化の大きい変化画素か否かを判定する。そして、隣接する変化画素を１つの領域に纏め、変化領域２００を抽出する。図１では、差分画像１１０ａに基づいて、変化領域２００ａ、２００ｂ、２００ｃ、２００ｄが抽出されている。
また、演算部は、各変化領域２００に対し差分画像１１０に基づいて色変化を調査し、対称的な色変化を持つ他の変化領域２００を探索する（Ｓ３０）。演算部は、各変化領域２００に対し差分画像１１０に示される色変化の代表値あるいは色変化と画素数の関係を表すヒストグラムを求める。さらに、演算部は、各変化領域２００に対し、色変化の大きさがほぼ等しく変化の方向がほぼ逆転している他の変化領域２００を探索する。そして、その探索の結果から、対称的な色変化を持つ変化領域ペア２２０を選出する（Ｓ４０）。図１では、変化領域２００ａと変化領域２００ｂの組が変化領域ペア２２０ａとして、変化領域２００ｃと変化領域２００ｄの組が変化領域ペア２２０ｂとして、選出されている。
最後に、演算部は、選択された各変化領域ペア２２０に対し、２つの変化領域２００を包括するような領域を作成し、移動体３００を含む領域である移動体領域２１０として検出する（Ｓ５０）。図１では、変化領域２００ａと変化領域２００ｂを包括する移動体領域２１０ａが移動体３００ａを含む領域として検出され、変化領域２００ｃと変化領域２００ｄを包括する移動体領域２１０ｂが移動体３００ｂを含む領域として検出されている。
第一の実施形態において、移動体３００に伴う２つの変化領域２００の面積は等しくなる。図１では、変化領域２００ａと変化領域２００ｂの面積が等しく、変化領域２００ｃと変化領域２００ｄの面積が等しい。このように、演算部は、面積も対称性を有する性質を利用して、Ｓ３０で表す手順を行う際に各変化領域２００の面積を調査し、Ｓ４０で表す手順を行う際に、対称的な色変化と対称的な面積を持つ変化領域２００の組を変化領域ペア２２０として選択しても良い。
ここで、本発明の第一の実施形態には、連続する２フレームが撮影される間に移動体が自身の大きさ１つ分よりも大きく移動をしている場合、その移動体に対応する移動体領域が過大になる、という問題がある。次に、この問題を解決するための、本発明の第二の実施形態について説明する。
図３は、本発明の第二の実施形態の動作を表す概念図であり、図４は、本発明の第二の実施形態の動作を表すフローチャートである。図３では、３枚の画像１００ｃ、１００ｄ、１００ｅに移動体３００ｃ、３００ｄが写っている。
演算部に３枚の画像１００が入力されると、演算部は基準となる画像１００とその他の画像１００との色変化を示す２枚の中間差分画像１２０を作成する（Ｓ１１０）。図３では、画像１００ｅを基準とし、画像１００ｃと画像１００ｅから中間差分画像１２０ａが、画像１００ｄと画像１００ｅから中間差分画像１２０ｂが、それぞれ作成されている。中間差分画像１２０の作成方法は、第一の実施形態において２枚の画像１００から差分画像１１０を作成した方法と同様である。
続いて、演算部は、２枚の中間差分画像１２０に共通する色変化を示す差分画像１１０を作成する（Ｓ１２０）。演算部は、差分画像１１０の各画素に対し、２つの色変化が共通しているか否かを判定するためにあらかじめ与えられた閾値に基づき、一方の中間差分画像１２０において対応する画素の色変化と他方の中間差分画像１２０において対応する画素の色変化とが共通しているかどうかを判定し、共通している場合は２つの色変化を表す値の代表値を与え、共通していない場合は色変化がないことを表す値を与える。図３では、２枚の中間差分画像１２０ａ、１２０ｂから、それらに共通する色変化を示す差分画像１１０ｂが作成されている。中間変化領域２３０ａと中間変化領域２３０ｅとは色変化が共通していると判断され、差分画像１１０ｂに反映されているが、中間変化領域２３０ｂや中間変化領域２３０ｆは２枚の中間差分画像１２０ａ、１２０ｂにおいて色変化が共通しておらず、差分画像１１０ｂに反映されていない。また、中間変化領域２３０ｃ、２３０ｇ、または中間変化領域２３０ｄ、２３０ｈに関しては、それらの共通部分が差分画像１１０ｂに反映されている。
また、演算部は、差分画像１１０の各画素が示す色変化に基づき、３枚の画像１００において変化した領域を示す変化領域２００を抽出する(Ｓ１３０)。変化領域２００の抽出方法は、第一の実施形態における変化領域２００の抽出方法と同様である。図３では、変化領域２００ｅ、２００ｆ、２００ｇが抽出される。
さらに、演算部は、各変化領域２００に対し差分画像１１０に基づき色変化を調査し、対称的な色変化を持つ他の変化領域２００を探索する（Ｓ１４０）。探索方法は第一の実施形態における探索方法と同様であるが、第二の実施形態においては面積の対称性は保障されないため、色変化の対称性のみを用いて探索を行なう。そして、その探索の結果から、対称的な色変化を持つ変化領域ペア２２０を選出する（Ｓ１５０）。図３では、変化領域２００ｆと変化領域２００ｇの組が変化領域ペア２２０ｃとして選出される。
その後、演算部は、選択された各変化領域ペア２２０に対し、２つの変化領域２００を包括するような領域を作成し、移動体３００を含む領域である移動体領域２１０として検出する（Ｓ１６０）。図３では、変化領域２００ｆと変化領域２００ｇを包括する移動体領域２１０ｄが移動体３００ｄを含む領域として検出されている。
最後に、演算部は、変化領域ペア２２０として選択されなかった変化領域２００を包括する領域を作成し、移動体３００を含む領域である移動体領域２１０として検出する（Ｓ１７０）。図３では、変化領域２００ｅを囲むような移動体領域２１０ｃが移動体３００ｃを含む領域として検出されている。
第一の実施形態および第二の実施形態において、入力画像１００に含まれているノイズが影響し、極めて小さい変化領域２００が無数に抽出され、移動体検出結果に影響を与える場合がある。この問題を回避するため、まず、差分画像１１０に基づき色変化の大きい領域を単純変化領域として抽出し、あらかじめ与えられた面積の閾値に基づき、面積の大きい単純変化領域のみを選別し、選別された単純変化領域を変化領域２００として抽出しても良い。
また、撮影するカメラが移動する場合は、それぞれの画像１００において、背景の相対移動が顕著になり、移動体検出に失敗することがある。図５は、このような状況を回避するために行う画像間位置合わせの様子を表す概念図である。画像１００に写っている大部分が実際には動いていない背景である場合は、異なる位置に背景が写っている２つの画像１００について、片方または両方の画像１００を透視変換することにより背景の位置を一致させることができる。図５では、画像１００ｆを透視変換することにより、画像１００ｆ、１００ｇの背景の位置を一致させている。これを利用し、本発明の第一の実施形態におけるＳ１０で示す手順、あるいは第二の実施形態におけるＳ１１０で示す手順について、それぞれの画像１００に対し背景の位置が一致するように画像１００に透視変換を施して、差分画像１１０や中間差分画像１２０を作成しても良い。

１００・・・画像、１１０・・・差分画像、１２０・・・中間差分画像、２００・・・変化領域、２１０・・・変化領域ペア、２２０・・・移動体領域、２３０・・・中間変化領域、３００・・・移動体

Claims (5)

1. 時間的に連続する少なくとも３枚の画像から、最も新しい第１の画像を夫々に含む少なくとも２枚の中間差分画像を算出し、
   前記中間差分画像に基づいて差分画像を算出し、
   前記差分画像に基づいて変化領域を抽出し、
   対称的な色変化を持つ２つの前記変化領域を変化領域ペアとして選出し、
   １組の前記変化領域ペアに対し１つの小移動量移動体領域を検出し、
   前記変化領域の内、前記変化ペア領域として選出されなかった領域を大移動量移動体領域として検出する演算部を備えることを特徴とする移動体検出装置。
2. 請求項１に記載の移動体検出装置において、
   前記演算部は、
   前記差分画像に基づいて単純変化領域を抽出し、
   前記単純変化領域の面積に基づいて前記単純変化領域を選別し、
   前記選別により選ばれた前記単純変化領域を前記変化領域として抽出する
   ことを特徴とする移動体検出装置。
3. 請求項１または２に記載の移動体検出装置において、
   前記演算部は、
   前記差分画像に基づいて前記変化領域内の各画像における色変化の代表値を算出し、
   前記代表値に基づいて前記変化領域ペアを選出する
   ことを特徴とする移動体検出装置。
4. 請求項１から３に記載の移動体検出装置において、
   前記演算部は、
   前記差分画像に基づいて前記変化領域内の色変化と画素数の関係を表すヒストグラムを算出し、
   前記ヒストグラムに基づいて前記変化領域ペアを選出する
   ことを特徴とする移動体検出装置。
5. 請求項１から４に記載の移動体検出装置において、
   前記演算部は、
   それぞれの前記画像における背景の位置が一致するように前記画像に対し透視変換を行い、
   前記透視変換の結果に基づいて前記差分画像あるいは前記中間差分画像を算出する
   ことを特徴とする移動体検出装置。

Images