JP5391966B2 - 画像処理装置及び画像処理装置用プログラム - Google Patents
画像処理装置及び画像処理装置用プログラム Download PDFInfo
- Publication number
- JP5391966B2 JP5391966B2 JP2009223144A JP2009223144A JP5391966B2 JP 5391966 B2 JP5391966 B2 JP 5391966B2 JP 2009223144 A JP2009223144 A JP 2009223144A JP 2009223144 A JP2009223144 A JP 2009223144A JP 5391966 B2 JP5391966 B2 JP 5391966B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- change
- background image
- illuminance
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 119
- 238000000034 method Methods 0.000 claims description 85
- 238000001514 detection method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 description 43
- 210000000746 body region Anatomy 0.000 description 23
- 238000006243 chemical reaction Methods 0.000 description 20
- 238000011410 subtraction method Methods 0.000 description 8
- 230000000295 complement effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001172 regenerating effect Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、動画を撮るカメラの撮影画像をもとに背景画像を作成し、作成した背景画像と前記カメラの現撮影画像との差分を得ることにより移動体を抽出する処理を行う画像処理装置及び画像処理装置用プログラムに関する。
動画像を撮るビデオカメラ等の撮像装置を監視場所に設置し、ビデオカメラの撮影画像を処理することによって、撮影した画面内で移動する物体の動きを検出する装置が従来から知られている。
この従来技術において、カメラの撮影画像から移動体を抽出する処理には、いわゆる背景差分法、即ち、予め監視対象の移動体が存在しない状態で撮影しておいた背景画像と、その後、移動体が入った状態で撮影した画像との差分をとって、監視対象の移動体のみを抽出する方法が多く利用される。
この従来技術において、カメラの撮影画像から移動体を抽出する処理には、いわゆる背景差分法、即ち、予め監視対象の移動体が存在しない状態で撮影しておいた背景画像と、その後、移動体が入った状態で撮影した画像との差分をとって、監視対象の移動体のみを抽出する方法が多く利用される。
ただ、背景差分法を使用する際に、照明の点灯や日照変化などにより照度が突然変わり、背景の撮影画像に変化が生じると、予め保持しておいた差分を得るために用いる背景がこれに対応できずに誤抽出することがある。
この課題を解決し、日照（照度）変化に対し抽出精度を保つための方法として、次に示す方法が提案されている。１つは、予め日照環境の様々なシーンを撮影して、背景を作成しておき、日照変化に応じて背景を切り替える方法であるが、この方法は監視場所に適合する様々なシーンを用意する必要があり、用意のないシーンではエラーになるので利用が制限される。また、エッジ画像を背景にする方法があるが、この方法は小さな日照変化に適した方法で、大きな変化ではエッジが消失してしまい、精度がでない。
この課題を解決し、日照（照度）変化に対し抽出精度を保つための方法として、次に示す方法が提案されている。１つは、予め日照環境の様々なシーンを撮影して、背景を作成しておき、日照変化に応じて背景を切り替える方法であるが、この方法は監視場所に適合する様々なシーンを用意する必要があり、用意のないシーンではエラーになるので利用が制限される。また、エッジ画像を背景にする方法があるが、この方法は小さな日照変化に適した方法で、大きな変化ではエッジが消失してしまい、精度がでない。
また、上記方法の問題を起こさず、安定した抽出を行うための方法として、日照（照度）が変化したときにこれまでの背景と変化後の撮影画像との関係をもとに背景を生成し直す方法が提案されている。この方法は、周囲の画素値との大小の関係や相関関係を求めることや周囲の画素値の変化量をもとに注目画素の変化量を推測することによって背景を生成し直すが、いずれも処理負荷が高く、前者ではテクスチャのない背景領域では、輪郭の抽出のみになってしまうことや変化前の背景の作成精度によって抽出ができなくなり、後者では、注目画素の値が周囲画素と大きく異なる場合に同様の変化量にならない、といった問題が生じる。
照度が変化したときにこれまでの背景と変化後の撮影画像との関係をもとに背景を生成し直す方法の１つとして下記特許文献１を例示することができる。特許文献１は、照度変化前後の撮影画像における注目画素を含む複数参照画素の輝度値の関係にもとづいて背景か物体かを全ての画素点について判別する方法であり、背景であると判別された画素位置の背景データの更新を行っている。
照度が変化したときにこれまでの背景と変化後の撮影画像との関係をもとに背景を生成し直す方法の１つとして下記特許文献１を例示することができる。特許文献１は、照度変化前後の撮影画像における注目画素を含む複数参照画素の輝度値の関係にもとづいて背景か物体かを全ての画素点について判別する方法であり、背景であると判別された画素位置の背景データの更新を行っている。
上記のように、照度変化前後の撮影画像をもとに背景を生成し直す従来の方法は、いずれも処理負担が大きく、小規模にシステムを構成するには不向きである。また、特許文献１では、物体が存在する位置の背景データが更新されないので、抽出精度を低下させる、という問題が生じる。
本発明は、いわゆる背景差分法により撮影画像から移動体を抽出する処理を行う際に、照度変化が生じても移動体の抽出精度を保つことができる背景画像を小さい処理負担で作成できるようにすることにある。
本発明は、いわゆる背景差分法により撮影画像から移動体を抽出する処理を行う際に、照度変化が生じても移動体の抽出精度を保つことができる背景画像を小さい処理負担で作成できるようにすることにある。
本発明は、動画を撮るカメラの撮影画像をもとに背景画像を作成し、作成した背景画像と前記カメラの現撮影画像との差分を得ることにより移動物を抽出する処理を行う画像処理装置であって、撮影対象の照度を検出する照度検出手段と、前記照度検出手段によって所定の照度変化が検出されたときに、照度変化前に使用していた背景画像を保存する手段、照度変化後の撮影画像をもとに移動体の画像領域を得る手段、保存された照度変化前の背景画像において同一輝度を有する画素を特定し、特定した画素同士の距離を求める手段、照度変化後の撮影画像から得た移動体の画像領域以外の画素位置の照度変化後に使用する背景画像を照度変化後の撮影画像とする手段、照度変化後の撮影画像から得た移動体の画像領域の画素位置の照度変化後に使用する背景画像を、前記同一輝度を有する画素のうち照度変化後の撮影画像から得た移動体の画像領域以外で最も距離が近い画素の輝度値とする手段の各手段を備えた背景画像作成手段、を有したことを特徴とする。
本発明によると、日照等の照度変化に対応できる背景画像を変化後の撮影画像から作成し、その際に移動体のために背景が作成できない領域を、変化前に用いていた背景画像及び変化後の撮影画像から推測した輝度値で補うようにすることで、照度変化があっても移動体の抽出精度の低下を抑えることができ、かつ従来法よりも処理負担を小さくすることができる。
以下に、本発明の画像処理装置に係る実施形態を説明する。
背景差分法の背景画像として使用していた画像が適用できないような日照変化等の急激な照度変化が起きたときに、変化後に撮影した画像によって背景画像を変え、照度変化に対処することは、基本的な方法として、本発明においてもこの方法を用いることが前提である。
本発明では、上記の方法を採用し、照度変化に対応して背景画像を作成し直す際に、移動体により遮られたために背景が作成できない領域の画像を、変化前に用いていた背景画像及び変化後の撮影画像から尤もらしい輝度値を推測し、得られた推測値で補うようにする。
背景差分法の背景画像として使用していた画像が適用できないような日照変化等の急激な照度変化が起きたときに、変化後に撮影した画像によって背景画像を変え、照度変化に対処することは、基本的な方法として、本発明においてもこの方法を用いることが前提である。
本発明では、上記の方法を採用し、照度変化に対応して背景画像を作成し直す際に、移動体により遮られたために背景が作成できない領域の画像を、変化前に用いていた背景画像及び変化後の撮影画像から尤もらしい輝度値を推測し、得られた推測値で補うようにする。
上記した尤もらしい輝度値を推測する手法は、次に示す２つの手法を用いて行う。
手法１： 照度変化前の背景画像、変化後の照度における撮影画像双方における同一画素位置の輝度値の関係から照度変化前後の輝度値の分布を求め、この輝度値分布をもとに照度変化前後の間で輝度値を変換する変換式を近似式として得、この変換式によって照度変化前に使用していた背景画像から変換する輝度値を照度変化後に使用する背景画像の尤もらしい輝度値として推測する。
手法２： 照度変化前の背景画像において同一輝度を有する画素を特定し、特定した画素同士の距離を求め、移動体の画像領域の画素位置の照度変化後に使用する背景画像を、前記同一輝度を有する画素のうち照度変化後の撮影画像から得た移動体の画像領域以外で最も距離が近い画素の輝度値を得、得た輝度値を照度変化後に使用する背景画像の尤もらしい輝度値として推測する。
手法１： 照度変化前の背景画像、変化後の照度における撮影画像双方における同一画素位置の輝度値の関係から照度変化前後の輝度値の分布を求め、この輝度値分布をもとに照度変化前後の間で輝度値を変換する変換式を近似式として得、この変換式によって照度変化前に使用していた背景画像から変換する輝度値を照度変化後に使用する背景画像の尤もらしい輝度値として推測する。
手法２： 照度変化前の背景画像において同一輝度を有する画素を特定し、特定した画素同士の距離を求め、移動体の画像領域の画素位置の照度変化後に使用する背景画像を、前記同一輝度を有する画素のうち照度変化後の撮影画像から得た移動体の画像領域以外で最も距離が近い画素の輝度値を得、得た輝度値を照度変化後に使用する背景画像の尤もらしい輝度値として推測する。
以下、上記手法１及び手法２による背景画像作成の詳細をそれぞれ「実施形態１」、「実施形態２」に分けて説明する。
「実施形態１」
“背景画像の作成原理（手法１）”
先ず、手法１による背景画像の作成原理について説明する。
本発明では、背景画像を変化後の照度に応じた画像に作成し直すときに、背景を遮る移動体がある場合、変更する背景画像における移動体により遮られた領域の背景画像に推測値を用いて背景画像を補完する。
手法１は、上記で説明したように、照度変化前後の間で輝度値を変換する変換式を求め、照度変化前に使用していた背景画像の輝度値からこの変換式に従って得られる輝度値によって移動体領域の背景画像を推測し、補完する。
「実施形態１」
“背景画像の作成原理（手法１）”
先ず、手法１による背景画像の作成原理について説明する。
本発明では、背景画像を変化後の照度に応じた画像に作成し直すときに、背景を遮る移動体がある場合、変更する背景画像における移動体により遮られた領域の背景画像に推測値を用いて背景画像を補完する。
手法１は、上記で説明したように、照度変化前後の間で輝度値を変換する変換式を求め、照度変化前に使用していた背景画像の輝度値からこの変換式に従って得られる輝度値によって移動体領域の背景画像を推測し、補完する。
ここで、照度変化前後の輝度値変換式の求め方及び変換式に従って得られる輝度値による移動体領域の背景画像の補完の仕方について、図１及び図２を参照して説明する。なお、以下の説明では、照度変化が日照変化により起きる場合を例にするが、日照以外での急激な照度変化が起きる場合にも同様に適用できる。
図１（Ａ）は、日照変化が生じる前に撮影された背景画像である。同図中のＰ１，Ｐ２，Ｐ３として示す位置は、同一の輝度値（ここでは、輝度値：１００）を持つ画素が存在する位置の１例を示している。
図１（Ａ）の背景画像を撮影したと同じ画角で日照変化が生じた後に撮影する画像は、図１（Ｂ）に示すように、全体的に輝度が低下する。このとき、図１（Ａ）において同一の輝度値を持つ画素位置Ｐ１，Ｐ２，Ｐ３には、同じ輝度低下が生じ、日照変化後における図１（Ｂ）の画素位置Ｐ１，Ｐ２，Ｐ３は、それぞれ同一の輝度値（ここでは、輝度値：５０）を持つという推測を前提に置く。
図１（Ａ）は、日照変化が生じる前に撮影された背景画像である。同図中のＰ１，Ｐ２，Ｐ３として示す位置は、同一の輝度値（ここでは、輝度値：１００）を持つ画素が存在する位置の１例を示している。
図１（Ａ）の背景画像を撮影したと同じ画角で日照変化が生じた後に撮影する画像は、図１（Ｂ）に示すように、全体的に輝度が低下する。このとき、図１（Ａ）において同一の輝度値を持つ画素位置Ｐ１，Ｐ２，Ｐ３には、同じ輝度低下が生じ、日照変化後における図１（Ｂ）の画素位置Ｐ１，Ｐ２，Ｐ３は、それぞれ同一の輝度値（ここでは、輝度値：５０）を持つという推測を前提に置く。
よって、日照変化が生じた後の背景画像を作成するために撮影した画像に図１（Ｃ）に示すように、背景画像に在ってはならない移動体（同図中の人）が写りこんでいる場合に、この移動体領域の画素位置の輝度値を、その画素位置に照度変化前に使用していた背景画像の輝度値から上記前提に従って推測される値、即ち、同一の輝度値を持つ移動体領域以外の画素位置における日照変化後の撮影画像の輝度値で補完する。つまり、図１（Ｃ）の例では、日照変化後の背景画像に用いる撮影画像において移動体（同図では人）によって遮られたＰ２位置の輝度値として、図１（Ａ）の日照変化前の背景画像（Ａ）において同一の輝度値を持つ画素位置Ｐ１，Ｐ３（移動体領域以外の画素位置）における日照変化後における図１（Ｃ）の撮影画像の輝度値（ここでは、輝度値：５０）を推測値とする。
ところで、上記のように、照度変化前後の輝度値の間には、同一の輝度値を持つ画素位置（図１のＰ１，Ｐ２，Ｐ３）には、同じ輝度低下が生じ、日照変化後における該画素位置はそれぞれ同一の輝度値を持つという推測を前提としたが、実際には、ばらつきが生じる。
そこで、実際に日照変化後の撮影画像の輝度値に生じるばらつきの中心値を尤もらしい輝度推測値として求め、この値を適用することで安定化を図る。このための手法として、照度変化前の背景画像、変化後の照度における撮影画像双方における同一画素位置の輝度値の分布をとり、輝度値の分布をもとに照度変化前後の輝度値の関係を表す近似式を求める。この近似式は、所定の照度変化が生じたときに、照度変化前に使用していた背景画像の輝度値を照度変化後の背景画像の輝度値に変換する変換式である。この変換式に従い変換された輝度値は、ばらつきの影響を受けることがなく、安定した移動体抽出を可能とする背景画像を作成できる。
そこで、実際に日照変化後の撮影画像の輝度値に生じるばらつきの中心値を尤もらしい輝度推測値として求め、この値を適用することで安定化を図る。このための手法として、照度変化前の背景画像、変化後の照度における撮影画像双方における同一画素位置の輝度値の分布をとり、輝度値の分布をもとに照度変化前後の輝度値の関係を表す近似式を求める。この近似式は、所定の照度変化が生じたときに、照度変化前に使用していた背景画像の輝度値を照度変化後の背景画像の輝度値に変換する変換式である。この変換式に従い変換された輝度値は、ばらつきの影響を受けることがなく、安定した移動体抽出を可能とする背景画像を作成できる。
図２は、照度変化前の背景画像、変化後の照度における撮影画像双方における同一画素位置の輝度値の分布及び照度変化前後の間で背景画像の輝度値を変換する変換（近似）式の１例を示すグラフである。図２のグラフの横軸は照度変化前の輝度値（０〜２５５）をとり、縦軸は照度変化後の輝度値（０〜２５５）をとっている。
図２のグラフ中に示す点は、同一画素位置の照度変化前の輝度値に対する照度変化後の輝度値をプロットしたものである。上記の関係は、背景画像の全画素について求める。
結果として、照度変化前の背景画像の同一輝度値に対する照度変化後の撮影画像の輝度値はばらつくが、多くのサンプル画素が分布する中心値が存在し、この中心値を結ぶ曲線を推定することにより図２中に近似曲線として示す変換式を求めることができる。
図２のグラフ中に示す点は、同一画素位置の照度変化前の輝度値に対する照度変化後の輝度値をプロットしたものである。上記の関係は、背景画像の全画素について求める。
結果として、照度変化前の背景画像の同一輝度値に対する照度変化後の撮影画像の輝度値はばらつくが、多くのサンプル画素が分布する中心値が存在し、この中心値を結ぶ曲線を推定することにより図２中に近似曲線として示す変換式を求めることができる。
この実施形態では、上記のように背景画像の全画素について得た輝度値の分布をもとに近似曲線を求める方法をとるので、移動体を含む画像を照度変化後の背景画像を作成するために用いても使用に耐え得る背景画像を得ることができる。
ただ、移動体が画像全体に比べ大きな割合を占めるようになると、背景画像における上記関係性（照度変化前の輝度値に対する照度変化後の輝度値における一定の関係）を失い、精度が低下する。
従って、より精度を高めるためには、照度変化前の輝度値に対する照度変化後の輝度値の分布を得るときに、照度変化後の撮影画像に含まれる移動体領域の画像を除外する、即ち、移動体領域の画素は輝度値分布をとるときのサンプル画素としないようにすることによって、精度を保つことができる。
照度変化後の撮影画像に含まれる移動体領域を抽出する手法として、本実施形態では、フレーム間差分法を用いる。フレーム間差分法は、現撮影画像におけるフレーム同士の差分を検出することによって、移動体を抽出する方法である。ここでは、照度変化後の撮影画像に適用することで、撮影画像に含まれる移動体画像を抽出し、移動体画像の占める領域を特定する。
ただ、移動体が画像全体に比べ大きな割合を占めるようになると、背景画像における上記関係性（照度変化前の輝度値に対する照度変化後の輝度値における一定の関係）を失い、精度が低下する。
従って、より精度を高めるためには、照度変化前の輝度値に対する照度変化後の輝度値の分布を得るときに、照度変化後の撮影画像に含まれる移動体領域の画像を除外する、即ち、移動体領域の画素は輝度値分布をとるときのサンプル画素としないようにすることによって、精度を保つことができる。
照度変化後の撮影画像に含まれる移動体領域を抽出する手法として、本実施形態では、フレーム間差分法を用いる。フレーム間差分法は、現撮影画像におけるフレーム同士の差分を検出することによって、移動体を抽出する方法である。ここでは、照度変化後の撮影画像に適用することで、撮影画像に含まれる移動体画像を抽出し、移動体画像の占める領域を特定する。
“画像処理装置の構成”
図３は、本実施形態に係る画像処理装置の概略構成を示すブロック図である。
図３に示すように、画像処理装置１０は、制御部１１と、制御部１１の制御下で動作する画像入力部１７、画像処理部１２、画像出力部１５の各部と、画像処理部１２が処理データを保存するメモリ１４を有する。
制御部１１は、画像処理装置全体を制御し、カメラ１で撮影された画像を取り込んで移動体抽出、背景画像作成等の画像を処理するためのデータ処理等を行う手段として、図示しないが、ＣＰＵ（Central Processing Unit）、ＣＰＵの処理に必要なプログラムやデータ等を一時的に記憶しておくためのＲＡＭ（Random Access Memory）及びＣＰＵを駆動して演算や処理等を実行させるためのプログラム等を格納したＲＯＭ（Read Only Memory）等の記憶部を備えたコンピュータを備える。
図３は、本実施形態に係る画像処理装置の概略構成を示すブロック図である。
図３に示すように、画像処理装置１０は、制御部１１と、制御部１１の制御下で動作する画像入力部１７、画像処理部１２、画像出力部１５の各部と、画像処理部１２が処理データを保存するメモリ１４を有する。
制御部１１は、画像処理装置全体を制御し、カメラ１で撮影された画像を取り込んで移動体抽出、背景画像作成等の画像を処理するためのデータ処理等を行う手段として、図示しないが、ＣＰＵ（Central Processing Unit）、ＣＰＵの処理に必要なプログラムやデータ等を一時的に記憶しておくためのＲＡＭ（Random Access Memory）及びＣＰＵを駆動して演算や処理等を実行させるためのプログラム等を格納したＲＯＭ（Read Only Memory）等の記憶部を備えたコンピュータを備える。
画像入力部１７は、制御部１１の指示に従いカメラ１で撮影された画像を入力し、制御部１１に渡す入力インターフェースである。
画像処理部１２は、撮影画像から移動体抽出、背景画像作成等の画像の処理を行う手段であり、後記で図４の処理フローを参照して詳述する背景画像作成処理を実行する手段として、移動体抽出部１２１、日照変化判定部１２３及び背景画像作成部（同一輝度点抽出部１２６、推測値算出部１２７等を内蔵）を備える（各部の機能の詳細は、後述の“背景画像作成処理（手法１）”にて説明）。
なお、画像処理部１２は、背景画像作成等の処理を行う専用の画像処理回路で構成してもよい(図３はこの例を示す)が、背景画像作成処理を実行するプログラムを制御部１１のコンピュータで駆動することにより当該処理の機能実現手段を構成してもよい。
画像処理部１２は、撮影画像から移動体抽出、背景画像作成等の画像の処理を行う手段であり、後記で図４の処理フローを参照して詳述する背景画像作成処理を実行する手段として、移動体抽出部１２１、日照変化判定部１２３及び背景画像作成部（同一輝度点抽出部１２６、推測値算出部１２７等を内蔵）を備える（各部の機能の詳細は、後述の“背景画像作成処理（手法１）”にて説明）。
なお、画像処理部１２は、背景画像作成等の処理を行う専用の画像処理回路で構成してもよい(図３はこの例を示す)が、背景画像作成処理を実行するプログラムを制御部１１のコンピュータで駆動することにより当該処理の機能実現手段を構成してもよい。
メモリ１４は、撮影画像や処理画像等の画像データを含む画像処理部１２の処理に関わる各種データを記憶する手段で、背景画像保存部１４１、推測値保存部１４３等を内蔵する。
画像出力部１５は、画像処理部１２によって処理された画像のモニタ表示等を行う表示手段である。この表示手段は、画像処理装置が移動体の監視装置を構成する場合には、移動体の抽出結果を表示し、また、ユーザーの操作入力により指示される処理条件を受け付ける操作部（図示せず）とともにユーザーインターフェースとして機能する場合には、撮影画像或いは画像処理部１２によって作成された背景画像等を表示することや、操作時の設定データや検知結果等をキャラクタで表示する際に使用される。
画像出力部１５は、画像処理部１２によって処理された画像のモニタ表示等を行う表示手段である。この表示手段は、画像処理装置が移動体の監視装置を構成する場合には、移動体の抽出結果を表示し、また、ユーザーの操作入力により指示される処理条件を受け付ける操作部（図示せず）とともにユーザーインターフェースとして機能する場合には、撮影画像或いは画像処理部１２によって作成された背景画像等を表示することや、操作時の設定データや検知結果等をキャラクタで表示する際に使用される。
“背景画像作成処理（手法１）”
上記した画像処理装置１０が日照変化時に行う背景画像作成処理の詳細を以下に説明する。この背景画像作成処理は、カメラ１の撮影画像から上記“背景画像の作成原理（手法１）”で説明した作成原理に従って、制御部１１の制御の下で画像処理部１２が行う処理である。
日照変化時に行うこの背景画像作成処理は、次の(１)〜(６)に概要を示す流れに従って行う。
（１） 日照変化を検知した際に、そのとき保持していた背景画像を保存する。
（２） 日照変化後に使用する背景画像に用いるために撮影した日照変化後の画像にフレーム間差分を適用して、移動体領域とそれ以外の領域に画像の領域を分ける。
（３） 上記（２）で分けた移動体領域以外の領域部分について、日照変化後の撮影画像を使用して当該領域部分の背景画像を作成する。
上記した画像処理装置１０が日照変化時に行う背景画像作成処理の詳細を以下に説明する。この背景画像作成処理は、カメラ１の撮影画像から上記“背景画像の作成原理（手法１）”で説明した作成原理に従って、制御部１１の制御の下で画像処理部１２が行う処理である。
日照変化時に行うこの背景画像作成処理は、次の(１)〜(６)に概要を示す流れに従って行う。
（１） 日照変化を検知した際に、そのとき保持していた背景画像を保存する。
（２） 日照変化後に使用する背景画像に用いるために撮影した日照変化後の画像にフレーム間差分を適用して、移動体領域とそれ以外の領域に画像の領域を分ける。
（３） 上記（２）で分けた移動体領域以外の領域部分について、日照変化後の撮影画像を使用して当該領域部分の背景画像を作成する。
（４） 照度変化前の背景画像、変化後の照度における撮影画像双方における同一画素位置の輝度値の分布を求める（なお、以降の処理は、移動体領域以外の領域の画素数が閾値以上あることを条件とする）。
（５） 上記（４）で求めた輝度値の分布をもとに照度変化前後の輝度値の関係を表す近似式（変換式）を求める。
（６） 上記（２）で分けた移動体領域について、上記（５）で求めた変換式に従って、照度変化前に使用していた背景画像の輝度値を照度変化後の背景画像の輝度値に変換し、得られる輝度値（推測値）を使用して当該領域部分の背景画像を作成する。
なお、上記(１)〜(６)の処理では、（３）で日照変化後の撮影画像を使用して当該領域部分の背景画像を作成しているが、全部の領域を（６）の変換式による処理により行うことができる。
（５） 上記（４）で求めた輝度値の分布をもとに照度変化前後の輝度値の関係を表す近似式（変換式）を求める。
（６） 上記（２）で分けた移動体領域について、上記（５）で求めた変換式に従って、照度変化前に使用していた背景画像の輝度値を照度変化後の背景画像の輝度値に変換し、得られる輝度値（推測値）を使用して当該領域部分の背景画像を作成する。
なお、上記(１)〜(６)の処理では、（３）で日照変化後の撮影画像を使用して当該領域部分の背景画像を作成しているが、全部の領域を（６）の変換式による処理により行うことができる。
“背景画像作成処理（手法１）の処理フロー”
上記(１)〜(６)の流れで概要を示した背景画像作成処理の１実施例を図４に示す処理フローにもとづいて説明する。なお、図４の処理フローは、背景差分法による移動体の抽出処理の一環として、背景画像を作成し直すことが必要になる照度変化の発生時に行う処理例を示すものである。
画像処理部１２は、制御部１１から移動体の抽出処理の指示とともにカメラ１の撮影画像を処理対象画像として受け取り、移動体の抽出処理フローを起動する。
処理を開始すると、先ず、カメラ１から画像入力部１７を介して取り込んだ撮影画像を取得し（ステップＳ１０１）、移動体が存在しない状態（例えば、移動体抽出部１２１でフレーム間差分をとることにより移動体がない状態を確認する）の画像を求め、求めた撮影画像をもとに背景画像を作成し（ステップＳ１０２）、作成した背景画像を移動体抽出部１２１の処理に用いることができるように画像処理部１２内の記憶部もしくはメモリ１４に保持する。また、この背景画像の作成時に、例えば、撮影画像全体から求めた平均輝度レベルによって日照条件を把握し、作成した背景画像に関連付けて記憶しておく。
上記(１)〜(６)の流れで概要を示した背景画像作成処理の１実施例を図４に示す処理フローにもとづいて説明する。なお、図４の処理フローは、背景差分法による移動体の抽出処理の一環として、背景画像を作成し直すことが必要になる照度変化の発生時に行う処理例を示すものである。
画像処理部１２は、制御部１１から移動体の抽出処理の指示とともにカメラ１の撮影画像を処理対象画像として受け取り、移動体の抽出処理フローを起動する。
処理を開始すると、先ず、カメラ１から画像入力部１７を介して取り込んだ撮影画像を取得し（ステップＳ１０１）、移動体が存在しない状態（例えば、移動体抽出部１２１でフレーム間差分をとることにより移動体がない状態を確認する）の画像を求め、求めた撮影画像をもとに背景画像を作成し（ステップＳ１０２）、作成した背景画像を移動体抽出部１２１の処理に用いることができるように画像処理部１２内の記憶部もしくはメモリ１４に保持する。また、この背景画像の作成時に、例えば、撮影画像全体から求めた平均輝度レベルによって日照条件を把握し、作成した背景画像に関連付けて記憶しておく。
次に、カメラ１から取り込んだ現撮影画像を処理対象の画像として取得し（ステップＳ１０３）、取得した画像から移動体を抽出する（ステップＳ１０４）。この処理は、移動体抽出部１２１が行い、処理対象の現撮影画像をステップＳ１０２で作成した背景画像に用いて背景差分法によって撮影画像に現れる移動体を抽出する。
この移動体抽出処理では、日照に変化がない間、ステップＳ１０２で作成した背景画像を使い続ける。このため、移動体を抽出する処理の後、日照変化判定部１２３で予め定めた許容範囲を超える日照変化が生じたか否かを判定し、判定結果に従い処理を分岐する（ステップＳ１０５）。日照変化の許容範囲は、使用中の背景画像と現撮影画像の背景とにずれが生じ、低下する抽出精度が許容限界になる変化量によって定める。ここでは、ステップＳ１０２で背景画像を作成したときの同じ方法（例えば、撮影画像全体から求めた平均輝度レベル）で日照条件を把握し、作成時からの変化量（例えば、平均輝度レベルの変化量）を求め、この変化量が許容範囲を超えるか否かを判断することで、この日照変化の有無を確認する。
予め定めた許容範囲を超える日照変化が生じない場合（ステップＳ１０５-NO）、ステップＳ１０２で作成した背景画像を使い、現撮影画像を処理対象の画像として移動体の抽出を続ける（ステップＳ１０３，Ｓ１０４）。
この移動体抽出処理では、日照に変化がない間、ステップＳ１０２で作成した背景画像を使い続ける。このため、移動体を抽出する処理の後、日照変化判定部１２３で予め定めた許容範囲を超える日照変化が生じたか否かを判定し、判定結果に従い処理を分岐する（ステップＳ１０５）。日照変化の許容範囲は、使用中の背景画像と現撮影画像の背景とにずれが生じ、低下する抽出精度が許容限界になる変化量によって定める。ここでは、ステップＳ１０２で背景画像を作成したときの同じ方法（例えば、撮影画像全体から求めた平均輝度レベル）で日照条件を把握し、作成時からの変化量（例えば、平均輝度レベルの変化量）を求め、この変化量が許容範囲を超えるか否かを判断することで、この日照変化の有無を確認する。
予め定めた許容範囲を超える日照変化が生じない場合（ステップＳ１０５-NO）、ステップＳ１０２で作成した背景画像を使い、現撮影画像を処理対象の画像として移動体の抽出を続ける（ステップＳ１０３，Ｓ１０４）。
他方、予め定めた許容範囲を超える日照変化が生じた場合（ステップＳ１０５-YES）、背景画像を作成し直す必要がある。そこで、背景画像作成部１２５は、これまでに使用していた日照変化前の背景画像をメモリ１４の背景画像保存部１４１に保存する（ステップＳ１０６）。
次いで、背景画像作成部１２５は、日照変化後に用いる背景画像の作成手順の始めに、日照変化後に取得した撮影画像にフレーム間差分を適用して、移動体領域とそれ以外の領域に画像の領域を分ける（ステップＳ１０７）。
次に、ステップＳ１０７で分けた領域のうち、移動体領域以外の領域部分に対し、日照変化後に取得した撮影画像を用いて、当該領域部分の背景画像を作成する（ステップＳ１０８）。つまり、移動体領域以外の領域部分の日照変化前の背景画像を日照変化後の撮影画像によって更新し、この領域の背景画像を作成し直す。
次いで、背景画像作成部１２５は、日照変化後に用いる背景画像の作成手順の始めに、日照変化後に取得した撮影画像にフレーム間差分を適用して、移動体領域とそれ以外の領域に画像の領域を分ける（ステップＳ１０７）。
次に、ステップＳ１０７で分けた領域のうち、移動体領域以外の領域部分に対し、日照変化後に取得した撮影画像を用いて、当該領域部分の背景画像を作成する（ステップＳ１０８）。つまり、移動体領域以外の領域部分の日照変化前の背景画像を日照変化後の撮影画像によって更新し、この領域の背景画像を作成し直す。
また、ステップＳ１０７で分けた領域のうち、移動体領域以外の領域部分に対応する日照変化後の撮影画像を取得する（ステップＳ１０９）。ここで取得する撮影画像は、後段の輝度値分布を求める処理に使用するものであるが、この輝度値分布を求める処理の実行は、移動体領域以外の領域の画素数が閾値以上取得できることを条件とする。
よって、上記の処理の実行条件が満たされるか否かを確認し（ステップＳ１１０）、確認できるまで移動体領域以外の領域部分に対応する日照変化後の撮影画像の取得を繰り返す（ステップＳ１０９，Ｓ１１０）。この日照変化後の撮影画像を取得するループを繰り返しても、閾値以上の画素数が取得できずにタイムアウトした場合には（ステップＳ１１４-YES）、この処理フローを終了する。
よって、上記の処理の実行条件が満たされるか否かを確認し（ステップＳ１１０）、確認できるまで移動体領域以外の領域部分に対応する日照変化後の撮影画像の取得を繰り返す（ステップＳ１０９，Ｓ１１０）。この日照変化後の撮影画像を取得するループを繰り返しても、閾値以上の画素数が取得できずにタイムアウトした場合には（ステップＳ１１４-YES）、この処理フローを終了する。
他方、タイムアウトすることなく処理の実行条件が満たされた場合（ステップＳ１１０-YES）、日照変化前の背景画像、変化後の照度における撮影画像双方における同一画素位置の輝度値の分布（図２、参照）を求める（ステップＳ１１１）。日照変化前の背景画像の同一輝度値に対する日照変化後の撮影画像から抽出される輝度値は中心値を持って分布する。この輝度値の分布を求める処理は、同一輝度点抽出部１２６が行う。
次に、ステップＳ１１１で求めた輝度値の分布をもとに日照変化前後の輝度値の関係を表す近似式（変換式）を求める（ステップＳ１１２）。求めた近似式（変換式）は、推測値算出部１２７で推測輝度値を算出するために使用する。
この後、推測値算出部１２７は、ステップＳ１０７で分けた領域のうち、移動体領域部分について、ステップＳ１１２で求めた変換式に従って、日照変化前に使用していた背景画像の輝度値を日照変化後の背景画像の輝度値に変換し、変換した輝度値（推測値）をメモリ１４の推測値保存部１４３に保存する。
背景画像作成部１２５は、変換された輝度値（推測値）を使用して当該移動体領域部分の背景画像を作成する（ステップＳ１１３）。つまり、移動体領域部分の日照変化前の背景画像を、ステップＳ１１２で求めた変換式に従って変換された輝度値によって更新し、この領域の背景画像を作成し直す。
ステップＳ１０８及びステップＳ１１３で日照変化後の背景画像全体が作成され、この背景画像を用いて移動体抽出が継続できるので、ステップＳ１０３に戻し、抽出処理を実行する。
次に、ステップＳ１１１で求めた輝度値の分布をもとに日照変化前後の輝度値の関係を表す近似式（変換式）を求める（ステップＳ１１２）。求めた近似式（変換式）は、推測値算出部１２７で推測輝度値を算出するために使用する。
この後、推測値算出部１２７は、ステップＳ１０７で分けた領域のうち、移動体領域部分について、ステップＳ１１２で求めた変換式に従って、日照変化前に使用していた背景画像の輝度値を日照変化後の背景画像の輝度値に変換し、変換した輝度値（推測値）をメモリ１４の推測値保存部１４３に保存する。
背景画像作成部１２５は、変換された輝度値（推測値）を使用して当該移動体領域部分の背景画像を作成する（ステップＳ１１３）。つまり、移動体領域部分の日照変化前の背景画像を、ステップＳ１１２で求めた変換式に従って変換された輝度値によって更新し、この領域の背景画像を作成し直す。
ステップＳ１０８及びステップＳ１１３で日照変化後の背景画像全体が作成され、この背景画像を用いて移動体抽出が継続できるので、ステップＳ１０３に戻し、抽出処理を実行する。
なお、上記の処理フローでは、ステップＳ１０８で移動体領域以外の領域部分に対し、日照変化後の撮影画像を使用してこの領域部分の背景画像を作成しているが、全部の領域をステップＳ１１２で求めた変換式による処理により背景画像の輝度値を推測し、日照変化後の背景画像を作成する処理としてこの処理フローを実施することができる。
「実施形態２」
“背景画像の作成原理（手法２）”
先ず、手法２による背景画像の作成原理について説明する。
本発明では、背景画像を変化後の照度に応じた画像に作成し直すときに、背景を遮る移動体がある場合、変更する背景画像における移動体により遮られた領域の背景画像に推測値を用いて背景画像を補完する。
手法２は、上記で説明したように、照度変化前の背景画像において同一輝度を有する画素を特定し、特定した画素同士の距離を求め、移動体の画像領域の画素位置の照度変化後に使用する背景画像を、前記同一輝度を有する画素のうち照度変化後の撮影画像から得た移動体の画像領域以外で最も距離が近い画素の輝度値を得、得た輝度値を照度変化後に使用する背景画像の尤もらしい輝度値として推測し、補完する。
“背景画像の作成原理（手法２）”
先ず、手法２による背景画像の作成原理について説明する。
本発明では、背景画像を変化後の照度に応じた画像に作成し直すときに、背景を遮る移動体がある場合、変更する背景画像における移動体により遮られた領域の背景画像に推測値を用いて背景画像を補完する。
手法２は、上記で説明したように、照度変化前の背景画像において同一輝度を有する画素を特定し、特定した画素同士の距離を求め、移動体の画像領域の画素位置の照度変化後に使用する背景画像を、前記同一輝度を有する画素のうち照度変化後の撮影画像から得た移動体の画像領域以外で最も距離が近い画素の輝度値を得、得た輝度値を照度変化後に使用する背景画像の尤もらしい輝度値として推測し、補完する。
ここで、上記手法に従って得られる輝度値による移動体領域の背景画像の補完の仕方について、図５を参照して説明する。なお、以下の説明では、照度変化が日照変化により起きる場合を例にするが、日照以外での急激な照度変化が起きる場合にも同様に適用できる。
図５（Ａ）は、日照変化が生じる前に撮影された背景画像である。同図中のＰ４，Ｐ５，Ｐ６として示す位置は、同一の輝度値（ここでは、輝度値：１００）を持つ画素が存在する位置の１例を示している。
図５（Ａ）の背景画像を撮影したと同じ画角で日照変化が生じた後に撮影する画像は、図５（Ｂ）に示すように、全体的に輝度が低下する。このとき、図５（Ａ）において同一の輝度値を持つ画素位置Ｐ４，Ｐ５，Ｐ６には、輝度低下が同様に生じる（同図に示す例では、画素位置Ｐ４，Ｐ６の輝度値は、それぞれ４８，５３という近い値を持つ）、という推測を前提に置く。
図５（Ａ）は、日照変化が生じる前に撮影された背景画像である。同図中のＰ４，Ｐ５，Ｐ６として示す位置は、同一の輝度値（ここでは、輝度値：１００）を持つ画素が存在する位置の１例を示している。
図５（Ａ）の背景画像を撮影したと同じ画角で日照変化が生じた後に撮影する画像は、図５（Ｂ）に示すように、全体的に輝度が低下する。このとき、図５（Ａ）において同一の輝度値を持つ画素位置Ｐ４，Ｐ５，Ｐ６には、輝度低下が同様に生じる（同図に示す例では、画素位置Ｐ４，Ｐ６の輝度値は、それぞれ４８，５３という近い値を持つ）、という推測を前提に置く。
よって、日照変化が生じた後の背景画像を作成するために撮影した画像に図５（Ｂ）に示すように、背景画像に在ってはならない移動体（同図中の人）が写りこんでいる場合に、この移動体領域の画素位置の輝度値を、その画素位置に照度変化前に使用していた背景画像の輝度値から上記前提に従って推測される値、即ち、同一の輝度値を持つ移動体領域以外の画素位置における日照変化後の撮影画像の輝度値で補完する。ただ、同一の輝度値を持つ移動体領域以外の画素として参照できる画素が複数ある場合、これらの複数画素（以下「参照点候補」という）のうち最も距離が近い画素の輝度値を採用する。つまり、図５（Ｂ）の例では、日照変化後の背景画像に用いる撮影画像において移動体（同図では人）によって遮られたＰ５位置の輝度値として、図５（Ａ）の日照変化前の背景画像（Ａ）において同一の輝度値を持つ画素位置Ｐ４，Ｐ６を参照点候補とし、そのうち最も距離が近い画素位置Ｐ６の撮影画像の輝度値（ここでは、輝度値：５３）を推定値として採用する。
“画像処理装置の構成”
図６は、本実施形態に係る画像処理装置の概略構成を示すブロック図である。
図６に示すように、画像処理装置１０は、制御部１１と、制御部１１の制御下で動作する画像入力部１７、画像処理部１２、画像出力部１５の各部と、画像処理部１２が処理データを保存するメモリ１４を有する。
制御部１１は、画像処理装置全体を制御し、カメラ１で撮影された画像を取り込んで移動体抽出、背景画像作成等の画像を処理するためのデータ処理等を行う手段として、図示しないが、ＣＰＵ、ＣＰＵの処理に必要なプログラムやデータ等を一時的に記憶しておくためのＲＡＭ及びＣＰＵを駆動して演算や処理等を実行させるためのプログラム等を格納したＲＯＭ等の記憶部を備えたコンピュータを備える。
図６は、本実施形態に係る画像処理装置の概略構成を示すブロック図である。
図６に示すように、画像処理装置１０は、制御部１１と、制御部１１の制御下で動作する画像入力部１７、画像処理部１２、画像出力部１５の各部と、画像処理部１２が処理データを保存するメモリ１４を有する。
制御部１１は、画像処理装置全体を制御し、カメラ１で撮影された画像を取り込んで移動体抽出、背景画像作成等の画像を処理するためのデータ処理等を行う手段として、図示しないが、ＣＰＵ、ＣＰＵの処理に必要なプログラムやデータ等を一時的に記憶しておくためのＲＡＭ及びＣＰＵを駆動して演算や処理等を実行させるためのプログラム等を格納したＲＯＭ等の記憶部を備えたコンピュータを備える。
画像入力部１７は、制御部１１の指示に従いカメラ１で撮影された画像を入力し、制御部１１に渡す入力インターフェースである。
画像処理部１２は、撮影画像から移動体抽出、背景画像作成等の画像の処理を行う手段であり、後記で図７の処理フローを参照して詳述する背景画像作成処理を実行する手段として、移動体抽出部１２１、日照変化判定部１２３及び背景画像作成部（同一輝度点抽出部１２６、距離算出部１２８、参照点決定部１２９等を内蔵）を備える（各部の機能の詳細は、後述の“背景画像作成処理（手法２）”にて説明）。
なお、画像処理部１２は、背景画像作成等の処理を行う専用の画像処理回路で構成してもよい(図６はこの例を示す)が、背景画像作成処理を実行するプログラムを制御部１１のコンピュータで駆動することにより当該処理の機能実現手段を構成してもよい。
画像処理部１２は、撮影画像から移動体抽出、背景画像作成等の画像の処理を行う手段であり、後記で図７の処理フローを参照して詳述する背景画像作成処理を実行する手段として、移動体抽出部１２１、日照変化判定部１２３及び背景画像作成部（同一輝度点抽出部１２６、距離算出部１２８、参照点決定部１２９等を内蔵）を備える（各部の機能の詳細は、後述の“背景画像作成処理（手法２）”にて説明）。
なお、画像処理部１２は、背景画像作成等の処理を行う専用の画像処理回路で構成してもよい(図６はこの例を示す)が、背景画像作成処理を実行するプログラムを制御部１１のコンピュータで駆動することにより当該処理の機能実現手段を構成してもよい。
メモリ１４は、撮影画像や処理画像等の画像データを含む画像処理部１２の処理に関わる各種データを記憶する手段で、背景画像保存部１４１、推測値保存部１４３、距離保存部１４５等を内蔵する。
画像出力部１５は、画像処理部１２によって処理された画像のモニタ表示等を行う表示手段である。この表示手段は、画像処理装置が移動体の監視装置を構成する場合には、移動体の抽出結果を表示し、また、ユーザーの操作入力により指示される処理条件を受け付ける操作部（図示せず）とともにユーザーインターフェースとして機能する場合には、撮影画像或いは画像処理部１２によって作成された背景画像等を表示することや、操作時の設定データや検知結果等をキャラクタで表示する際に使用される。
画像出力部１５は、画像処理部１２によって処理された画像のモニタ表示等を行う表示手段である。この表示手段は、画像処理装置が移動体の監視装置を構成する場合には、移動体の抽出結果を表示し、また、ユーザーの操作入力により指示される処理条件を受け付ける操作部（図示せず）とともにユーザーインターフェースとして機能する場合には、撮影画像或いは画像処理部１２によって作成された背景画像等を表示することや、操作時の設定データや検知結果等をキャラクタで表示する際に使用される。
“背景画像作成処理（手法２）”
上記した画像処理装置１０が日照変化時に行う背景画像作成処理の詳細を以下に説明する。この背景画像作成処理は、カメラ１の撮影画像から上記“背景画像の作成原理（手法２）”で説明した作成原理に従って、制御部１１の制御の下で画像処理部１２が行う処理である。
日照変化時に行うこの背景画像作成処理は、次の(１)〜(６)に概要を示す流れに従って行う。
（１） 日照変化を検知した際に、そのとき保持していた背景画像を保存する。
（２） 日照変化前に使用していた背景画像の全画素において、同一画素値を持つ画素点を参照点候補群として求め、参照点候補の画素同士の距離を算出し、参照点候補のデータを作成する。
（３） 照変化後に使用する背景画像に用いるために撮影した日照変化後の画像にフレーム間差分を適用して、移動体領域とそれ以外の領域に画像の領域を分ける。
（４） 上記（３）で分けた移動体領域以外の領域部分について、日照変化後の撮影画像を使用して当該領域部分の背景画像を作成する。
（５） 上記（３）で分けた移動体領域部分について、上記（２）で作成した参照点候補のデータをもとに、参照点候補を求め、かつ候補中の最も距離の近い参照点候補を参照点として決定する。
（６） 上記（５）で決定した参照点の画素位置に対応する照度変化後の撮影画像の輝度値を使用して当該領域部分の背景画像を作成する。
上記した画像処理装置１０が日照変化時に行う背景画像作成処理の詳細を以下に説明する。この背景画像作成処理は、カメラ１の撮影画像から上記“背景画像の作成原理（手法２）”で説明した作成原理に従って、制御部１１の制御の下で画像処理部１２が行う処理である。
日照変化時に行うこの背景画像作成処理は、次の(１)〜(６)に概要を示す流れに従って行う。
（１） 日照変化を検知した際に、そのとき保持していた背景画像を保存する。
（２） 日照変化前に使用していた背景画像の全画素において、同一画素値を持つ画素点を参照点候補群として求め、参照点候補の画素同士の距離を算出し、参照点候補のデータを作成する。
（３） 照変化後に使用する背景画像に用いるために撮影した日照変化後の画像にフレーム間差分を適用して、移動体領域とそれ以外の領域に画像の領域を分ける。
（４） 上記（３）で分けた移動体領域以外の領域部分について、日照変化後の撮影画像を使用して当該領域部分の背景画像を作成する。
（５） 上記（３）で分けた移動体領域部分について、上記（２）で作成した参照点候補のデータをもとに、参照点候補を求め、かつ候補中の最も距離の近い参照点候補を参照点として決定する。
（６） 上記（５）で決定した参照点の画素位置に対応する照度変化後の撮影画像の輝度値を使用して当該領域部分の背景画像を作成する。
“背景画像作成処理（手法２）の処理フロー”
上記(１)〜(６)の流れで概要を示した背景画像作成処理の１実施例を図７に示す処理フローにもとづいて説明する。なお、図７の処理フローは、背景差分法による移動体の抽出処理の一環として、背景画像を作成し直すことが必要になる照度変化の発生時に行う処理例を示すものである。
画像処理部１２は、制御部１１から移動体の抽出処理の指示とともにカメラ１の撮影画像を処理対象画像として受け取り、移動体の抽出処理フローを起動する。
処理を開始すると、先ず、カメラ１から画像入力部１７を介して取り込んだ撮影画像を取得し（ステップＳ２０１）、移動体が存在しない状態（例えば、移動体抽出部１２１でフレーム間差分をとることにより移動体がない状態を確認する）の画像を求め、求めた撮影画像をもとに背景画像を作成し（ステップＳ２０２）、作成した背景画像を移動体抽出部１２１の処理に用いることができるように画像処理部１２内の記憶部もしくはメモリ１４に保持する。また、この背景画像の作成時に、例えば、撮影画像全体から求めた平均輝度レベルによって日照条件を把握し、作成した背景画像に関連付けて記憶しておく。
上記(１)〜(６)の流れで概要を示した背景画像作成処理の１実施例を図７に示す処理フローにもとづいて説明する。なお、図７の処理フローは、背景差分法による移動体の抽出処理の一環として、背景画像を作成し直すことが必要になる照度変化の発生時に行う処理例を示すものである。
画像処理部１２は、制御部１１から移動体の抽出処理の指示とともにカメラ１の撮影画像を処理対象画像として受け取り、移動体の抽出処理フローを起動する。
処理を開始すると、先ず、カメラ１から画像入力部１７を介して取り込んだ撮影画像を取得し（ステップＳ２０１）、移動体が存在しない状態（例えば、移動体抽出部１２１でフレーム間差分をとることにより移動体がない状態を確認する）の画像を求め、求めた撮影画像をもとに背景画像を作成し（ステップＳ２０２）、作成した背景画像を移動体抽出部１２１の処理に用いることができるように画像処理部１２内の記憶部もしくはメモリ１４に保持する。また、この背景画像の作成時に、例えば、撮影画像全体から求めた平均輝度レベルによって日照条件を把握し、作成した背景画像に関連付けて記憶しておく。
次に、カメラ１から取り込んだ現撮影画像を処理対象の画像として取得し（ステップＳ２０３）、取得した画像から移動体を抽出する（ステップＳ２０４）。この処理は、移動体抽出部１２１が行い、処理対象の現撮影画像をステップＳ２０２で作成した背景画像に用いて背景差分法によって撮影画像に現れる移動体を抽出する。
この移動体抽出処理では、日照に変化がない間、ステップＳ２０２で作成した背景画像を使い続ける。このため、移動体を抽出する処理の後、日照変化判定部１２３で予め定めた許容範囲を超える日照変化が生じたか否かを判定し、判定結果に従い処理を分岐する（ステップＳ２０５）。日照変化の許容範囲は、使用中の背景画像と現撮影画像の背景とにずれが生じ、低下する抽出精度が許容限界になる変化量によって定める。ここでは、ステップＳ２０２で背景画像を作成したときの同じ方法（例えば、撮影画像全体から求めた平均輝度レベル）で日照条件を把握し、作成時からの変化量（例えば、平均輝度レベルの変化量）を求め、この変化量が許容範囲を超えるか否かを判断することで、この日照変化の有無を確認する。
予め定めた許容範囲を超える日照変化が生じない場合（ステップＳ２０５-NO）、ステップＳ２０２で作成した背景画像を使い、現撮影画像を処理対象の画像として移動体の抽出を続ける（ステップＳ２０３，Ｓ２０４）。
この移動体抽出処理では、日照に変化がない間、ステップＳ２０２で作成した背景画像を使い続ける。このため、移動体を抽出する処理の後、日照変化判定部１２３で予め定めた許容範囲を超える日照変化が生じたか否かを判定し、判定結果に従い処理を分岐する（ステップＳ２０５）。日照変化の許容範囲は、使用中の背景画像と現撮影画像の背景とにずれが生じ、低下する抽出精度が許容限界になる変化量によって定める。ここでは、ステップＳ２０２で背景画像を作成したときの同じ方法（例えば、撮影画像全体から求めた平均輝度レベル）で日照条件を把握し、作成時からの変化量（例えば、平均輝度レベルの変化量）を求め、この変化量が許容範囲を超えるか否かを判断することで、この日照変化の有無を確認する。
予め定めた許容範囲を超える日照変化が生じない場合（ステップＳ２０５-NO）、ステップＳ２０２で作成した背景画像を使い、現撮影画像を処理対象の画像として移動体の抽出を続ける（ステップＳ２０３，Ｓ２０４）。
他方、予め定めた許容範囲を超える日照変化が生じた場合（ステップＳ２０５-YES）、背景画像を作成し直す必要がある。そこで、背景画像作成部１２５は、これまでに使用していた日照変化前の背景画像をメモリ１４の背景画像保存部１４１に保存する（ステップＳ２０６）。
次に、背景画像作成部１２５は、日照変化後に用いる背景画像の作成手順の始めに、前段で保存した日照変化前の背景画像から参照点候補のデータを作成する（ステップＳ２０７）。参照点候補のデータは、同一輝度点抽出部１２６が日照変化前に使用していた背景画像の全画素において、同一画素値を持つ画素点を求め、得られた参照点候補群及び距離算出部１２８が参照点候補群の画素同士の画素位置間の距離を算出することにより得た距離データよりなる。作成された参照点候補のデータは、メモリ１４の距離保存部１４５に記憶、管理される。
また、背景画像作成部１２５は、日照変化後に取得した撮影画像にフレーム間差分を適用して、移動体領域とそれ以外の領域に画像の領域を分ける（ステップＳ２０８）。
次に、背景画像作成部１２５は、日照変化後に用いる背景画像の作成手順の始めに、前段で保存した日照変化前の背景画像から参照点候補のデータを作成する（ステップＳ２０７）。参照点候補のデータは、同一輝度点抽出部１２６が日照変化前に使用していた背景画像の全画素において、同一画素値を持つ画素点を求め、得られた参照点候補群及び距離算出部１２８が参照点候補群の画素同士の画素位置間の距離を算出することにより得た距離データよりなる。作成された参照点候補のデータは、メモリ１４の距離保存部１４５に記憶、管理される。
また、背景画像作成部１２５は、日照変化後に取得した撮影画像にフレーム間差分を適用して、移動体領域とそれ以外の領域に画像の領域を分ける（ステップＳ２０８）。
この後、ステップＳ２０８で分けた移動体領域とそれ以外の領域それぞれに異なる処理方法によって日照変化後の背景画像を作成するので、作成する背景画像の画素位置（ｘ、ｙ）がどちらの領域に属するかを確認して（ステップＳ２０９）、処理を分岐する。
画素位置（ｘ、ｙ）が移動体領域以外である場合（ステップＳ２０９-NO）、この領域の画素に対し、日照変化後に取得した撮影画像の同一画素位置の輝度値を用いて、背景画像を作成する（ステップＳ２１２）。つまり、移動体領域以外の領域部分の日照変化前の背景画像を日照変化後の撮影画像によって更新し、この領域の背景画像を作成し直す。
画素位置（ｘ、ｙ）が移動体領域以外である場合（ステップＳ２０９-NO）、この領域の画素に対し、日照変化後に取得した撮影画像の同一画素位置の輝度値を用いて、背景画像を作成する（ステップＳ２１２）。つまり、移動体領域以外の領域部分の日照変化前の背景画像を日照変化後の撮影画像によって更新し、この領域の背景画像を作成し直す。
他方、画素位置（ｘ、ｙ）が移動体領域である場合（ステップＳ２０９-YES）、ステップＳ２０７で作成された参照点候補のデータをもとに当該画素位置に対する参照点候補を求め、その中で最も距離が近くかつ日照変化後の撮影画像を取得している参照点候補（例えば、距離が近くても移動体領域の参照点候補は対象外になる）を参照点として決定する（ステップＳ２１０）。この処理は、参照点決定部１２９が行う。
次いで、ステップＳ２１０で決定した参照点の輝度値を取得された日照変化後の撮影画像から求め、求めた輝度値を当該画素位置の日照変化後の背景画像の輝度値（推測値）として得（ステップＳ２１１）、この輝度値（推測値）をメモリ１４の推測値保存部１４３に保存する。
次いで、ステップＳ２１０で決定した参照点の輝度値を取得された日照変化後の撮影画像から求め、求めた輝度値を当該画素位置の日照変化後の背景画像の輝度値（推測値）として得（ステップＳ２１１）、この輝度値（推測値）をメモリ１４の推測値保存部１４３に保存する。
ステップＳ２０９で移動体領域とそれ以外の領域に処理を分岐し、画素位置（ｘ、ｙ）の日照変化後の背景画像の輝度値をそれぞれステップＳ２１１，Ｓ２１２で取得した後、全ての画素位置（ｘ、ｙ）の処理が終了したか否かを確認し（ステップＳ２１３）、終了が確認できるまで未処理の画素位置（ｘ、ｙ）の処理を繰り返す（ステップＳ２０９〜Ｓ２１２）。この日照変化後の背景画像の輝度値を取得するループを繰り返しても、全ての画素位置（ｘ、ｙ）の処理が終了できずに（ステップＳ２１３-NO）、タイムアウトした場合には（ステップＳ２１４-YES）、この処理フローを終了する。
他方、タイムアウトすることなく全ての画素位置（ｘ、ｙ）の処理を終了することができた場合（ステップＳ２１３-YES）、日照変化後の背景画像全体が作成され、この背景画像を用いて行う移動体抽出処理を継続できるので、ステップＳ２０３に戻し、抽出処理を実行する。
他方、タイムアウトすることなく全ての画素位置（ｘ、ｙ）の処理を終了することができた場合（ステップＳ２１３-YES）、日照変化後の背景画像全体が作成され、この背景画像を用いて行う移動体抽出処理を継続できるので、ステップＳ２０３に戻し、抽出処理を実行する。
上記「実施形態１」及び「実施形態２」に示した日照変化後の背景画像の作成手法は、いずれも、日照変化後の背景画像を日照変化後の撮影画像から作成する際に、移動体のために背景が作成できない領域を、変化前に用いていた背景画像及び変化後の撮影画像にもとづいて推測した輝度値で補うようにすることで、照度変化があっても移動体の抽出精度の低下を抑えることができ、しかも、「実施形態１」では照度変化前後の輝度値の関係を表す近似式（変換式）、「実施形態２」では参照点候補のデータ（参照点候補群と該候補群の画素同士の距離）を一旦作成すれば、いずれも、その後の背景画像の作成処理にかかる負担は少なく、全体として、従来法に比べて処理負担を小さくすることができる。
１・・カメラ、１０・・画像処理装置、１１・・制御部、１２・・画像処理部、１２１・・移動体抽出部、１２３・・日照変化判定部、１２５・・背景画像作成部、１２６・・同一輝度点抽出部、１２７・・推測値算出部、１２８・・距離算出部、１２９・・参照点決定部、１４・・メモリ、１４１・・背景画像保存部、１４３・・推測値保存部、１４５・・距離保存部、１５・・画像出力部、１７・・画像入力部。
Claims (3)
- 動画を撮るカメラの撮影画像をもとに背景画像を作成し、作成した背景画像と前記カメラの現撮影画像との差分を得ることにより移動物を抽出する処理を行う画像処理装置であって、
撮影対象の照度を検出する照度検出手段と、
前記照度検出手段によって所定の照度変化が検出されたときに、照度変化前に使用していた背景画像を保存する手段、
照度変化後の撮影画像をもとに移動体の画像領域を得る手段、
保存された照度変化前の背景画像において同一輝度を有する画素を特定し、特定した画素同士の距離を求める手段、
照度変化後の撮影画像から得た移動体の画像領域以外の画素位置の照度変化後に使用する背景画像を照度変化後の撮影画像とする手段、
照度変化後の撮影画像から得た移動体の画像領域の画素位置の照度変化後に使用する背景画像を、前記同一輝度を有する画素のうち照度変化後の撮影画像から得た移動体の画像領域以外で最も距離が近い画素の輝度値とする手段の各手段を備えた背景画像作成手段、
を有したことを特徴とする画像処理装置。 - 請求項１に記載された画像処理装置において、
前記背景画像作成手段は、移動体の画像領域を撮影画像のフレーム間差分をとることにより得ることを特徴とする画像処理装置。 - 画像処理装置のコンピュータを請求項１又は２に記載された画像処理装置の背景画像作成手段として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009223144A JP5391966B2 (ja) | 2009-09-28 | 2009-09-28 | 画像処理装置及び画像処理装置用プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009223144A JP5391966B2 (ja) | 2009-09-28 | 2009-09-28 | 画像処理装置及び画像処理装置用プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011070572A JP2011070572A (ja) | 2011-04-07 |
| JP5391966B2 true JP5391966B2 (ja) | 2014-01-15 |
Family
ID=44015771
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009223144A Active JP5391966B2 (ja) | 2009-09-28 | 2009-09-28 | 画像処理装置及び画像処理装置用プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5391966B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3396626A1 (en) | 2017-04-25 | 2018-10-31 | Canon Kabushiki Kaisha | Moving object detection apparatus, control method for moving object detection apparatus, and program |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6362939B2 (ja) * | 2014-07-02 | 2018-07-25 | 株式会社メガチップス | 検出装置、検出方法及び制御プログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10111944A (ja) * | 1996-10-04 | 1998-04-28 | Nippon Telegr & Teleph Corp <Ntt> | 背景画更新方法および装置 |
| JP2001155163A (ja) * | 1999-11-26 | 2001-06-08 | Ntt Communications Kk | 移動物体切り出し装置 |
-
2009
- 2009-09-28 JP JP2009223144A patent/JP5391966B2/ja active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3396626A1 (en) | 2017-04-25 | 2018-10-31 | Canon Kabushiki Kaisha | Moving object detection apparatus, control method for moving object detection apparatus, and program |
| US10769800B2 (en) | 2017-04-25 | 2020-09-08 | Canon Kabushiki Kaisha | Moving object detection apparatus, control method for moving object detection apparatus, and non-transitory computer-readable storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011070572A (ja) | 2011-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5284048B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| US9098748B2 (en) | Object detection apparatus, object detection method, monitoring camera system and storage medium | |
| JP6465563B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| KR102068719B1 (ko) | 이미지들 내의 움직임 검출 | |
| US10853927B2 (en) | Image fusion architecture | |
| US10853928B2 (en) | Image fusion processing module | |
| US20110243451A1 (en) | Image processing apparatus and method, and program | |
| US20110243383A1 (en) | Image processing device, image processing method, and program | |
| US10769800B2 (en) | Moving object detection apparatus, control method for moving object detection apparatus, and non-transitory computer-readable storage medium | |
| KR20110023472A (ko) | 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법 | |
| KR102069269B1 (ko) | 영상 안정화 장치 및 방법 | |
| US20130027775A1 (en) | Image stabilization | |
| CN111445487A (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| JP5391966B2 (ja) | 画像処理装置及び画像処理装置用プログラム | |
| JP6178646B2 (ja) | 撮像装置及び像振れ補正処理方法 | |
| JP6231816B2 (ja) | 撮像装置およびその制御方法、プログラム並びに記憶媒体 | |
| CN113411555B (zh) | 白平衡处理方法及装置、存储介质、图像捕获设备 | |
| EP3496390B1 (en) | Information processing device, information processing method, and storage medium | |
| JP5146223B2 (ja) | プログラム、カメラ、画像処理装置および画像の輪郭抽出方法 | |
| JP2008102589A (ja) | 動画像処理装置および動画像処理方法ならびに動画像処理プログラム | |
| JP6381212B2 (ja) | 撮像装置及びその制御方法 | |
| JP2013187799A (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
| CN115578382B (zh) | 图像异常检测方法、装置、设备及计算机可读存储介质 | |
| JP2013246601A (ja) | 画像処理装置 | |
| KR20060123237A (ko) | 이미지 식별 방법 및 장치, 이미지의 움직임을 결정하는방법 및 장치, 이미지 안정화 방법 및 장치, 컴퓨터프로그램 제품 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120705 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130515 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130521 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130718 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130917 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130930 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5391966 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |