JP6902906B2

JP6902906B2 - 画像処理装置

Info

Publication number: JP6902906B2
Application number: JP2017073122A
Authority: JP
Inventors: 山口　純; 純山口
Original assignee: Secom Co Ltd
Current assignee: Secom Co Ltd
Priority date: 2017-03-31
Filing date: 2017-03-31
Publication date: 2021-07-14
Anticipated expiration: 2037-03-31
Also published as: JP2018173922A

Description

本発明は、画像から基準面以外の物体が写っている領域を検出する画像処理装置に関する。

一般に、画像により監視空間への人物の侵入を監視する場合、画像処理装置は、監視空間を撮影した複数の撮影画像から、変化のあった変化領域を検出し、変化領域に人物が写っているか否かを判定することにより、監視空間内に侵入する人物を検出する。しかし、監視空間に柱、壁、植栽等が存在する場合、柱、壁等を走るネズミ等の小動物、柱、壁等に照射された車のヘッドライト光、植栽の揺れ等が人物として誤って検出される可能性がある。このような検出誤りを防止するために、例えば、画像処理装置は、撮影画像内において柱、壁、植栽等の床面以外が写る領域を予め設定しておく。これにより、変化領域がその設定した領域に内包する場合、その変化領域は床面に接していないため、画像処理装置は、その変化領域には人物でなく小動物、光又は植栽が写っていると判定することができる。

しかし、従来、画像処理装置において、床面以外の領域は、監視空間を目視で確認した対処員により、手動で設定されていた。そのため、監視空間において植栽、什器等の設置物のレイアウトが変更された際には、対処員が床面以外の領域を再設定する必要があり、対処員の作業負荷及び作業費用が増大していた。また、対処員が床面以外の領域を手動により設定する場合、設定忘れ、設定誤り等が発生する可能性もあった。

二次元画像から三次元形状を検出する技術として、複数の照明、複数のカメラを用いる技術、パターン光、ＴＯＦ（ＴｉｍｅｏｆＦｌｉｇｈｔ）による測距センサ等を用いる技術が知られている。しかし、これらの方法により前述した床面以外の領域を検出する場合、複数の照明、複数のカメラ、測距センサ等が必要となるため、システム費用が増大してしまう。

一方、特許文献１には、平面を持ち、その平面の一部に僅かに傾斜した傾斜部がある被検査物に対し、平面と傾斜部との境界である傾斜開始線を検出する処理装置が記載されている。この処理装置は、被検査物の表面を拡散光で照射して撮像し、受光濃度が閾値を越える変化点の位置を傾斜開始位置として検出する。

特開平０４−２５９８１１号公報

特許文献１に記載された処理装置は、特別な構成を用いずに、単カメラ、単照明という装置構成で二次元画像から基準面（平面）とは高さが異なる領域（傾斜部）を検出することができる。しかし、撮影対象物（被検査物）における受光濃度はカメラの撮影方向、照明の照射方向、カメラ及び照明と撮影対象物との間の距離等によって変化する。このため、特許文献１の処理装置のようにして前述した床面以外の領域（基準面とは高さが異なる領域）を検出するためには、カメラ、照明及び撮影対象物（監視空間に存在する物体）の位置関係が予め定められている必要がある。

本発明の目的は、撮影装置により撮影された画像から基準面以外の物体が写っている領域をより簡易に且つ精度良く検出することができる画像処理装置を提供することにある。

かかる課題を解決するため本発明は、第１撮影装置により所定空間が撮影された入力画像を処理する画像処理装置であって、所定の高反射率の、所定空間における基準面が撮影された場合を仮定した仮定画像を記憶している記憶部と、入力画像を取得する入力画像取得部と、入力画像に含まれる各画素の輝度値と、仮定画像に含まれる、入力画像の当該画素の位置に対応する画素の輝度値とを比較して、入力画像において基準面と異なる物体が写っている非基準面領域を検出する検出部と、を有することを特徴とした画像処理装置を提供する。これにより、撮影装置は、撮影装置により撮影された画像から基準面と異なる物体が写っている領域を簡易に且つ精度良く検出することができる。

この画像処理装置において、仮定画像は、第２撮影装置により所定物体が撮影された準備画像に含まれる各画素の輝度値を、所定物体の反射率と所定の高反射率との比率、及び、当該画素に対応する所定物体の位置と第２撮影装置との間の第２距離と当該画素に対応する所定空間における基準面の位置と第１撮影装置との間の第１距離との比率に基づいて補正することにより生成されることが好適である。これにより、撮影装置は、撮影装置により撮影された画像から基準面と異なる物体が写っている領域をより精度良く検出することができる。

また、かかる課題を解決するため本発明は、第１撮影装置により所定空間が撮影された入力画像を処理する画像処理装置であって、所定空間における基準面の位置と第１撮影装置との間の第１距離を取得する距離取得部と、第２撮影装置により所定物体が撮影された準備画像、所定物体の反射率、及び、準備画像に含まれる画素毎に、当該画素に対応する所定物体の位置と第２撮影装置との間の第２距離を取得する準備画像取得部と、準備画像に含まれる各画素の輝度値を、所定物体の反射率と所定の高反射率との比率、及び、当該画素に対応する第２距離と当該画素に対応する第１距離との比率に基づいて補正して、高反射率の基準面が撮影された場合を仮定した仮定画像を生成する仮定画像生成部と、入力画像を取得する入力画像取得部と、入力画像に含まれる各画素の輝度値と、仮定画像に含まれる、入力画像の当該画素の位置に対応する画素の輝度値とを比較して、入力画像において基準面と異なる物体が写っている非基準面領域を検出する検出部と、を有することを特徴とした画像処理装置を提供する。これにより、撮影装置は、撮影装置により撮影された画像から基準面と異なる物体が写っている領域を簡易に且つ精度良く検出することができる。

この画像処理装置において、準備画像又は入力画像は、照明装置が点灯した状態で撮影された点灯画像、及び、照明装置が消灯した状態で撮影された消灯画像に基づいて、外乱光の影響が除去された画像であることが好適である。これにより、基準面と異なる物体が写っている領域をより精度良く検出することができる。

この画像処理装置において、第１撮影装置と第２撮影装置は、同一の撮影装置であることが好適である。これにより、基準面と異なる物体が写っている領域をより精度良く検出することができる。

この画像処理装置において、基準面は、床面であり、第１撮影装置により所定空間が異なるタイミングで撮影された複数の撮影画像から変化領域を検出する変化領域検出部と、変化領域が、非基準面領域と重複する度合いに基づいて、変化領域に対象物が写っているか否かを判定する対象物判定部と、をさらに有することが好適である。これにより、対象物の検出精度をより向上させることができる。

本発明に係る画像処理装置は、撮影装置により撮影された画像から基準面以外の物体が写っている領域をより簡易に且つ精度良く検出することができるという効果を奏する。

本実施形態による監視システムの概略構成図である。（ａ）〜（ｃ）は各画像について説明するための模式図である。（ａ）〜（ｆ）は各画像について説明するための模式図である。（ａ）、（ｂ）は非基準面領域について説明するための模式図である。準備画像生成処理の動作を示すフローチャートである。仮定画像生成処理の動作を示すフローチャートである。非基準面領域検出処理の動作を示すフローチャートである。対象物検出処理の動作を示すフローチャートである。

以下、本発明の画像処理装置が適用される監視システムについて図を参照しつつ説明する。

図１は、本実施形態による監視システム１００の概略構成を示す図である。監視システム１００は、画像処理装置１及び撮影ユニット２を有する。

撮影ユニット２は、撮影部１０及び照明部２０を有する。
撮影部１０は、ＣＣＤ素子またはＣ−ＭＯＳ素子など、近赤外光または可視光に感度を有する光電変換素子と、その光電変換素子上に像を結像する結像光学系と、光電変換素子から出力された電気信号を増幅し、アナログ／デジタル（Ａ／Ｄ）変換するＡ／Ｄ変換器とを有する。撮影部１０は、人物等の検出対象物の侵入を監視する監視空間を撮影するように固定設置される。監視空間は所定空間の一例である。撮影部１０は、画像処理装置１と接続され、撮影したＲＧＢ各色の画像を各画素が０〜２５５の範囲の輝度値を有するデジタルの画像に変換して画像処理装置１へ出力する。

照明部２０は、監視空間に光を照射する光源であり、撮影部１０の光電変換素子が感度を有する近赤外光領域または可視光領域の波長に十分な輝度を持つ光源（例えば複数のＬＥＤ等）を有する。照明部２０は、撮影部１０の設置位置と略同一の位置に、光の照射方向が撮影部１０の撮影方向と略同一となるように固定設置される。照明部２０は、画像処理装置１と接続され、画像処理装置１による制御に従って監視空間に光を照射する。
なお、撮影ユニット２は、画像処理装置１と接続されるように画像処理装置１の外部に設けられるのでなく、画像処理装置１に含まれるように画像処理装置１の内部に設けられてもよい。

画像処理装置１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、周辺回路、端子、各種メモリ等を有する。画像処理装置１は、撮影ユニット２により監視空間が撮影された入力画像を処理し、入力画像内で、床面等の基準面以外の物体が写っている非基準面領域を検出する。また、画像処理装置１は、検出した非基準面領域の情報を利用して、撮影ユニット２により監視空間が撮影された撮影画像から人物等の検出対象物を検出し、撮影画像から検出対象物を抽出した画像を出力する。画像処理装置１は、出力部３０、記憶部４０及び制御部５０等を有する。なお、本実施形態では、人物を検出対象物として説明するが、本発明はこれに限定されない。例えば、小動物等を検出対象物としてもよい。

出力部３０は、外部装置（不図示）と接続するインタフェース及びその制御回路である。出力部３０は、制御部５０から、撮影画像に検出対象物が含まれるか否かの判定結果を含む結果信号を受け取ると、外部装置が受信可能な形式の信号に変換して出力する。なお、判定結果が撮影画像に検出対象物が含まれていることを示す場合、結果信号には、監視空間を監視する監視員に警報を通知するための情報、撮影画像から抽出された検出対象物を含む画像等がさらに含まれてもよい。また、出力部３０は、制御部５０から、入力画像から検出された非基準面領域の画像、又は入力画像における非基準面領域の座標情報及び大きさを示す情報を受け取ると、外部装置が受信可能な形式の信号に変換して出力する。
なお、出力部３０は、一般公衆回線、携帯電話回線などの通信回線を介して各情報を監視センタ装置などの外部装置へ出力してもよい。

記憶部４０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリ、又は磁気記録媒体及びそのアクセス装置もしくは光記録媒体及びそのアクセス装置等を有する。記憶部４０は、画像処理装置１を制御するためのコンピュータプログラム及び各種データを記憶し、制御部５０との間でこれらの情報を入出力する。コンピュータプログラムは、ＣＤ−ＲＯＭ（compact disk read only memory）、ＤＶＤ−ＲＯＭ（digital versatile disk read only memory）等のコンピュータ読み取り可能な可搬型記録媒体から公知のセットアッププログラム等を用いて記憶部４０にインストールされてもよい。
記憶部４０には、モード情報４１、設置情報４２、距離情報４３、第２準備画像４４、第２準備画像パラメータ４５、露光情報４６及び背景画像４７等が記憶される。

モード情報４１は、現在設定されている画像処理装置１の動作モードを示す。
設置情報４２は、監視空間における撮像部１０の設置状態を示し、例えば撮影部１０の設置高さ、俯角、画角等である。
距離情報４３は、監視空間における基準面の位置と撮影部１０との間の第１距離を示す。本実施形態では、距離情報４３として、撮影部１０により監視空間が事前に撮影された第１準備画像に含まれる画素毎の、各画素に対応する基準面の位置と撮影部１０との間の第１距離が記憶される。各第１距離は、第１準備画像に基づいて、第１準備画像に写っている監視空間内に基準面が存在すると仮定して算出される。本実施形態では、基準面として床面が用いられ、第１準備画像全体に床面が写っていると仮定して、各画素についての第１距離が算出される。第１距離は、設置情報４２から事前に算出される。なお、各第１距離は、公知の測距技術などを用いて算出されてもよいし、管理者により設定されてもよい。

第２準備画像４４は、所定の物体を事前に撮影した準備画像の一例であり、画像内の全ての画素について、各画素に写っている当該物体の反射率、及び、各画素に対応する当該物体の位置と撮影部１０の位置の間の第２距離が既知である画像である。本実施形態では、第２準備画像４４として、撮影部１０及び照明部２０を用いて、予め反射率が既知である壁等の一又は複数の物体が画像全体に写るように事前に撮影された画像が記憶される。なお、第２準備画像４４は、画像情報に限らず、各画素の輝度値を示すデータ群として記憶されてもよい。
第２準備画像パラメータ４５は、第２準備画像４４内の全ての画素について、各画素に写っている所定の物体の反射率、及び、各画素に対応する当該物体の位置と撮影部１０との間の第２距離を示す。なお、第２準備画像４４全体に一つの所定の物体が写っている場合、各画素に写っている当該物体の反射率として、全て同一の反射率が記憶される。また、第２準備画像４４に写っている所定の物体が平面である場合、撮像部１０の光軸に対する平面の角度と、撮像部１０から平面内の１点までの距離とを記憶しておき、記憶しておいた各情報から、各画素に対応する第２距離を算出してもよい。また、各反射率又は各第２距離は、公知の測距技術などを用いて算出されてもよいし、管理者により設定されてもよい。
露光情報４６は、シャッター速度又はゲイン（感度）値等を示す。露光情報４６として、第２準備画像が撮影されたときの第２準備画像露光情報と、入力画像が撮影されたときの入力画像露光情報とが記憶される。
背景画像４７は、検出対象物が存在しない状態の監視空間を撮影した画像であり、公知の更新方法に基づいて、適宜最適になるように更新される。

制御部５０は、ＣＰＵ、ＭＰＵ、周辺回路等を有する。制御部５０は、記憶部４０を参照しながら入力画像から非基準面領域を検出するとともに、検出した非基準面領域の情報を利用して検出対象物を検出し、結果信号を出力部３０に出力する。制御部５０は、モード設定手段５１、撮影制御手段５２、準備画像生成手段５３、距離取得手段５４、準備画像取得手段５５、仮定画像生成手段５６、入力画像取得手段５７、露光補正手段５８、検出手段５９及び対象物検出手段６０等を有する。
制御部５０の各手段は、マイクロプロセッサ上で動作するソフトウェアにより実現される機能モジュールである。なお、制御部５０の各手段は、独立した集積回路、ファームウェア、マイクロプロセッサなどで構成されてもよい。
以下、制御部５０の各手段について詳細に説明する。

モード設定手段５１は、画像処理装置１の動作モードを設定する。画像処理装置１の動作モードには、監視空間を撮影した入力画像から当該監視空間における非基準面領域を検出する非基準面検出モードと、監視空間を撮影した撮影画像から監視空間に存在する人物等の検出対象物を検出する対象物検出モードが含まれる。モード設定手段５１は、入力部（不図示）を介して、対処員が操作する外部装置から制御信号を受信し、受信した制御信号に従って画像処理装置１の動作モードを切り替える。モード設定手段５１は、画像処理装置１の動作モードを示すモード情報を記憶部４０に記憶する。
なお、モード設定手段５１は、動作モードが非基準面検出モードである場合、非基準面検出処理が終了したときに動作モードを自動的に対象物検出モードに切り替えてもよい。また、画像処理装置１は、スケジュール情報を予め記憶部４０に記憶しておき、モード設定手段５１は、記憶されたスケジュール情報に従って、動作モードを切り替えてもよい。また、モード設定手段５１は、動作モードが対象物検出モードである場合、検出対象物の検出結果に基づいて、動作モードを切り替えてもよい。例えば、モード設定手段５１は、非基準面検出モードを設定するための制御信号を受信した場合、検出対象物の検出結果を参照し、監視空間内に検出対象物が存在しない場合に限り動作モードを自動的に非基準面検出モードに切り替えてもよい。

撮影制御手段５２は、撮影部１０及び照明部２０を制御する。撮影制御手段５２は、撮影部１０により撮影される画像において輝度が飽和しないように、撮影部１０にシャッター速度、ゲイン値等を設定して露光制御を行うとともに、撮影部１０による撮影の実行を制御する。また、撮影制御手段５２は、照明部２０に点灯時間、強度等を設定するとともに、照明部２０による点灯及び消灯の実行を制御する。撮影制御手段５２は、記憶部４０に記憶されたモード情報４１を参照し、現在設定されている動作モードに応じて撮影部１０及び照明部２０を制御する。

撮影制御手段５２は、対処員が操作する外部装置から入力部（不図示）を介して準備画像生成処理の実行を指示する制御信号を受信したときに、照明部２０を点灯させた状態で撮影部１０に点灯準備画像を撮影させるとともに、照明部２０を消灯させた状態で撮影部１０に消灯準備画像を撮影させる。撮影制御手段５２は、白とび及び黒つぶれが発生しないように撮影した点灯準備画像の撮影時の露光条件に、消灯準備画像の撮影時の露光条件を一致させ、点灯準備画像を撮影させた際に設定したシャッター速度、ゲイン値等を準備画像露光情報として記憶部４０に記憶する。なお、撮影制御手段５２は、点灯準備画像の撮影時とは異なる露光条件で消灯準備画像を撮影してもよい。その場合、後述する準備画像生成手段５３が、消灯準備画像に対して、後述する露光補正手段５８による露光補正と同様の露光補正を実行して、各準備画像における露光条件を一致させる。そして、点灯準備画像におけるシャッター速度、ゲイン値等を準備画像露光情報として記憶部４０に記憶する。

また、撮影制御手段５２は、動作モードが非基準面検出モードである場合、照明部２０を点灯させた状態で撮影部１０に点灯入力画像を撮影させるとともに、照明部２０を消灯させた状態で撮影部１０に消灯入力画像を撮影させる。撮影制御手段５２は、白とび及び黒つぶれが発生しないように撮影した点灯入力画像の撮影時の露光条件に、消灯入力画像の撮影時の露光条件を一致させ、点灯入力画像を撮影させた際に設定したシャッター速度、ゲイン値等を入力画像露光情報として記憶部４０に記憶する。なお、撮影制御手段５２は、点灯入力画像の撮影時とは異なる露光条件で消灯入力画像を撮影してもよい。その場合、後述する入力画像取得手段５７が、消灯入力画像に対して、後述する露光補正手段５８による露光補正と同様の露光補正を実行して、各入力画像における露光条件を一致させる。そして、点灯入力画像におけるシャッター速度、ゲイン値等を入力画像露光情報として記憶部４０に記憶する。
一方、撮影制御手段５２は、動作モードが対象物検出モードである場合、公知の方法によって監視空間の明るさを検出し、監視空間の明るさに応じて、照明部２０の点灯と消灯を切り替えながら撮影部１０に撮影を実行させる。例えば、撮影制御手段５２は、昼間と夜間で照明部２０の消灯と点灯を切り替える。撮影制御手段５２は、所定の時間間隔（例えば１／５秒間隔）で、撮影部１０に順次撮影を実行させる。

準備画像生成手段５３は、対処員が操作する外部装置から入力部（不図示）を介して準備画像生成処理の実行を指示する制御信号を受信したときに、撮影部１０から点灯準備画像及び消灯準備画像を取得する。前述したとおり、点灯準備画像は、照明部２０が点灯した状態で所定物体が撮影された画像であり、消灯準備画像は、照明部２０が消灯した状態で所定物体が撮影された画像である。

図２（ａ）は、点灯準備画像の一例を示し、図２（ｂ）は、消灯準備画像の一例を示す。図２（ａ）に示す点灯準備画像２００には、全体に壁２０１が写っており、照明部２０以外の照明機器により照らされた光２０２が写っている。なお、点灯準備画像２００において、光２０２が写っていない部分では、照明部２０による配光特性により輝度が異なっている。一方、図２（ｂ）に示す消灯入力画像２１０では、照明部２０による照明が消灯されているため、壁２０１は写っておらず、照明部２０以外の照明機器により照らされた光２１２のみが写っている。

次に、準備画像生成手段５３は、点灯準備画像及び消灯準備画像に基づいて、各画素が、点灯準備画像内の対応する画素の輝度値から、消灯準備画像内の対応する画素の輝度値を減算した値を有する第２準備画像を生成し、記憶部４０に記憶する。

図２（ｃ）は、第２準備画像の一例を示す。図２（ｃ）に示す第２準備画像２２０には、壁２０１が写り、照明部２０以外の照明機器により照らされた光２０２は写っていない。このように、第２準備画像２２０は、照明部２０による照明光以外の外乱光の影響が除去された画像となる。

なお、監視空間が外乱光によって照らされない場合、準備画像生成手段５３は、消灯準備画像の取得を省略し、点灯準備画像を第２準備画像として使用してもよい。

距離取得手段５４は、対処員が操作する外部装置から入力部（不図示）を介して仮定画像生成処理の実行を指示する制御信号を受信したときに、記憶部４０から距離情報４３を読出す。これにより、距離取得手段５４は、撮影部１０により監視空間が撮影された第１準備画像に基準面が写っていると仮定した場合の、第１準備画像に含まれる画素毎の、各画素に対応する基準面の位置と撮影部１０との間の第１距離を取得する。

準備画像取得手段５５は、記憶部４０から第２準備画像を読出して取得する。また、準備画像取得手段５５は、記憶部４０から第２準備画像パラメータを読出し、第２準備画像に含まれる画素毎の、各画素に写っている所定の物体の反射率、及び、各画素に対応する当該物体の位置と撮影部１０との間の第２距離を取得する。

仮定画像生成手段５６は、予め、第２準備画像に基づいて、所定の反射率の基準面が撮影された場合を仮定した仮定画像を生成し、記憶部４０に記憶する。所定の反射率は、例えば１００％である。以下では、所定の反射率が１００％である例について説明するが、所定の反射率は１００％に限定されず、１００％に近い、高反射率な値（例えば９０％等）であればよい。仮定画像生成手段５６は、第２準備画像に含まれる各画素の輝度値を、当該画素に対応する所定の物体の反射率と所定の反射率（基準面の反射率）との比率、及び、第２距離と、第１準備画像において第２準備画像の当該画素に対応する位置の画素における第１距離との比率に基づいて補正して、仮定画像を生成する。

監視空間内の特定の位置における反射光強度Ｓは、その位置の方向に向けて照射される照明の強度をＬ、その位置における反射率をＲ、その位置と撮影部１０の位置の間の距離をＤとすると、以下の式（１）のように表される。

撮影部１０により撮影される画像は、反射光強度Ｓを画像化したものであり、画像内の各画素の輝度値は、反射光強度Ｓと線形な関係を有する。したがって、撮影部１０により撮影されたものと仮定された仮定画像内の各画素の輝度値Ｉ₁、及び、撮影部１０により撮影された第２準備画像内の各画素の輝度値Ｉ₂は、以下の式（２）、（３）のように表される。

ここで、Ｌ₁、Ｌ₂は、各画素の視軸方向に向けて照射される照明の強度であり、Ｒ₁、Ｒ₂は、各画素に対応する監視空間内の位置における反射率であり、Ｄ₁、Ｄ₂は、各画素に対応する監視空間内の位置と撮影部１０の位置の間の距離である。
上記したように、第２準備画像は照明部２０による照明光以外の外乱光の影響が除去された画像であるため、照明の強度Ｌ₂は照明部２０による照明にのみ依存する。したがって、仮定画像を撮影したときの照明部２０による照明の強度Ｌ₁が、第２準備画像を撮影したときの照明部２０による照明の強度と同一であると仮定すると、各画素におけるＬ₁、Ｌ₂の値は同一値となる。また、仮定画像に写っている基準面の反射率が１００％であると仮定した場合、Ｒ₁は１となる。

したがって、仮定画像内の各画素の輝度値Ｉ₁は、第２準備画像内の各画素の輝度値Ｉ₂、各画素における反射率Ｒ₂、及び、各画素における第２距離Ｄ₂と、第１準備画像において第２準備画像の当該画素に対応する位置の画素における第１距離Ｄ₁との比率を用いて、以下の式（４）により算出される。

仮定画像生成手段５６は、式（４）により仮定画像内の全ての画素を算出することにより、仮定画像として、所定の反射率（１００％）の基準面のみを撮影したものと仮定した画像を生成する。
例えば、第２準備画像に写っている壁の反射率が５０％である場合、Ｒ₂は０．５となる。また、第２準備画像内の特定の画素に対応する壁の位置と撮影部１０との間の第２距離が１ｍであり、第１準備画像においてその特定の画素に対応する位置の画素における床面の位置と撮影部１０との間の第１距離が４ｍである場合、（Ｄ₂／Ｄ₁）²は１／１６になる。したがって、仮定画像においてその特定の画素に対応する位置の画素の輝度値は、第２準備画像内のその特定の画素の輝度値の１／８となる。

図３（ａ）は、仮定画像の一例を示す。図３（ａ）に示す仮定画像３００は、反射率が１００％である床面のみを撮影したと仮定した画像である。仮定画像３００の下側の領域３０１では、対応する床面の位置が撮像部１０に近く、照明部２０の光により強く照らされるため、画素の輝度値は高くなっている。一方、仮定画像３００の上側の領域３０２では、対応する床面の位置が撮像部１０から離れて、照明部２０の光により弱く照らされるため、画素の輝度値は低くなっている。

入力画像取得手段５７は、動作モードが非基準面検出モードである場合に、撮影部１０から点灯入力画像及び消灯入力画像を取得する。点灯入力画像は、照明部２０が点灯した状態で監視空間が撮影された画像であり、消灯入力画像は、照明部２０が消灯した状態で監視空間が撮影された画像である。

図３（ｂ）は、点灯入力画像の一例を示し、図３（ｃ）は、消灯入力画像の一例を示す。図３（ｂ）に示す点灯入力画像３１０には、監視空間内の床３１１、壁３１２、植栽３１３等が写っており、照明部２０以外の照明機器により照らされた光３１４が写っている。一方、図３（ｃ）に示す消灯入力画像３２０では、照明部２０による照明が消灯されているため、床３１１、壁３１２、植栽３１３等は写っておらず、照明部２０以外の照明機器により照らされた光３２４のみが写っている。

次に、入力画像取得手段５７は、点灯入力画像及び消灯入力画像に基づいて、各画素が、点灯入力画像内の対応する画素の輝度値から、消灯入力画像内の対応する画素の輝度値を減算した値を有する入力画像を生成して取得する。

図３（ｄ）は、入力画像の一例を示す。図３（ｄ）に示す入力画像３３０には、床３１１、壁３１２、植栽３１３等が写り、照明部２０以外の照明機器により照らされた光３１４は写っていない。このように、入力画像３３０は、照明部２０による照明光以外の外乱光の影響が除去された画像となる。

なお、準備画像生成手段５３と同様に、監視空間が外乱光によって照らされない場合、入力画像生成手段５７は、消灯入力画像の取得を省略し、点灯入力画像を入力画像として取得してもよい。

露光補正手段５８は、記憶部４０から仮定画像を読み出して取得するとともに、露光情報を読み出して取得する。露光補正手段５８は、第２準備画像露光情報及び入力画像露光情報に基づいて、仮定画像における露光条件が入力画像における露光条件と一致するように仮定画像に対して露光補正を実行する。
露光補正手段５８は、仮定画像に含まれる各画素の輝度値に、第２準備画像の撮影時のシャッター速度に対する入力画像の撮影時のシャッター速度の比率を乗算することにより、仮定画像を補正する。例えば、露光補正手段５８は、第２準備画像の撮影時のシャッター速度が８ｍｓｅｃであり、入力画像の撮影時のシャッター速度が１６ｍｓｅｃであった場合、仮定画像に含まれる各画素の輝度値が２倍になるように仮定画像を補正する。
また、露光補正手段５８は、仮定画像を、第２準備画像の撮影時のゲイン値及び入力画像の撮影時のゲイン値に基づいて補正する。撮影時のゲイン値Ｇは、増幅前の信号値Ｓ_IN及び増幅後の信号値Ｓ_OUTを用いて以下の式（５）により算出される。

露光補正手段５８は、仮定画像に含まれる各画素の輝度値に、以下の式（６）により算出される比率Ｐを乗算することにより、仮定画像を補正する。

ここで、Ｇ₁は入力画像の撮影時のゲイン値であり、Ｇ₂は第２準備画像の撮影時のゲイン値である。例えば、露光補正手段５８は、第２準備画像の撮影時のゲイン値が６ｄＢであり、入力画像の撮影時のゲイン値が１２ｄＢであった場合、仮定画像に含まれる各画素の輝度値が２倍になるように仮定画像を補正する。

なお、露光補正手段５８は、仮定画像に対して露光補正を行う代わりに、入力画像に対して露光補正を行ってもよい。即ち、露光補正手段５８は、仮定画像及び入力画像において、白とび及び黒つぶれの発生がより少なくなるように、露光補正を行う画像を決定すればよい。
また、第２準備画像における露光条件と入力画像における露光条件が初めから一致している場合、露光補正手段５８は、露光補正を省略してもよい。

図３（ｅ）は、露光補正後の仮定画像の一例を示す。図３（ｅ）に示す仮定画像３４０では、図３（ａ）に示した仮定画像３００に対して輝度値が変化している。

検出手段５９は、入力画像に含まれる各画素の輝度値と、仮定画像に含まれる、入力画像の当該画素の位置に対応する画素の輝度値とを比較して、入力画像において基準面以外の物体が写っている非基準面領域を検出する。
自然界に反射率が１００％より大きい物体は存在しない。そのため、入力画像内の特定の画素の輝度値が、反射率が１００％である基準面が写っていると仮定した仮定画像内の対応する画素の輝度値よりも高い（明るい）場合、その特定の画素には撮像部１０に対して基準面より近い位置にある物体が写っているとみなすことができる。特に、本実施形態のように基準面を床面としている場合、入力画像内の特定の画素の輝度値が、仮定画像内の対応する画素の輝度値よりも高い（明るい）場合、その特定の画素には、床面よりも高い位置にある物体が写っているとみなすことができる。
そこで、検出手段５９は、入力画像内の特定の画素の輝度値が、入力画像内のその特定の画素の位置に対応する仮定画像内の画素の輝度値より高い場合、その特定の画素には基準面以外の物体が写っていると判定する。一方、検出手段５９は、入力画像内の特定の画素の輝度値が、入力画像内のその特定の画素の位置に対応する仮定画像内の画素の輝度値以下である場合、その特定の画素には基準面が写っていると判定する。検出手段５９は、基準面以外の物体が写っていると判定した画素の集合を非基準面領域として検出し、基準面が写っていると判定した画素の集合を基準面領域として検出する。

図３（ｆ）は、非基準面領域の検出について説明するための模式図である。図３（ｆ）に示す画像３５０において、図３（ｄ）に示した床３１１に対応する領域３５１が基準面領域として検出され、壁３１２に対応する網掛け領域３５２と、植栽３１３に対応する網掛け領域３５３とが非基準面領域として検出されている。

検出手段５９は、検出した各非基準面領域の位置情報を記憶部４０に記憶する。なお、検出手段５９は、検出した各非基準面領域の位置情報を記憶部４０に記憶せずに出力部３０に出力してもよい。
また、検出手段５９は、定期的に非基準面領域を検出し、入力画像内における非基準面領域の位置、サイズ等が変化した場合、監視空間のレイアウトが変更になった可能性がある旨を出力部３０を介して通知してもよい。
また、検出手段５９は、予め監視空間内に存在する壁、柱、植栽等の位置を記憶部４０に記憶しておき、検出した非基準面領域と記憶部４０に記憶された位置が一致しない場合、撮影部１０が移動された（画策行為）可能性がある旨を出力部３０を介して通知してもよい。

対象物検出手段６０は、動作モードが対象物検出モードである場合に、撮影部１０から監視空間を撮影した撮影画像を取得し、取得した撮影画像から、その監視空間に存在する検出対象物を検出する。そのために、対象物検出手段６０は、変化領域検出手段６０１及び対象物判定手段６０２等を有する。

変化領域検出手段６０１は、撮影部１０により監視空間が異なるタイミングで撮影された複数の撮影画像から輝度値が変化する変化領域を検出する。
変化領域検出手段６０１は、撮影画像内の各画素の輝度値と、記憶部４０に記憶されている背景画像の対応する各画素の輝度値との差の絶対値を算出し、算出した差の絶対値が所定閾値以上となる画素の領域を差分領域として抽出する。変化領域検出手段６０１は、同一物体による差分領域をラベリングによりグループ化し、変化領域として検出する。即ち、変化領域検出手段６０１は、一枚のフレームから抽出した差分領域の内、相互に隣接（８連結）する画素をグループ化し、相互に近接する（所定範囲内に位置する）グループを、大きさ又は位置関係に基づいて結合し、結合した領域を変化領域として結合する。
なお、変化領域検出手段６０１は、フレーム間差分、背景画像と撮影画像の正規化相関、学習識別器等の他の公知の技術を用いて、変化領域を検出してもよい。

対象物判定手段６０２は、変化領域が非基準面領域と重複する度合いに基づいて、変化領域に検出対象物が写っているか否かを判定し、変化領域に検出対象物が写っている場合、判定結果を含む結果信号を出力部３０を介して外部装置へ出力する。

対象物判定手段６０２は、まず、変化領域の大きさ、縦横比等の特徴量に基づいて、その変化領域に写っている物体が検出対象物らしいか否かを判定する。例えば検出対象物が人物である場合、対象物判定手段６０２は、変化領域の大きさが人物の大きさに相当する所定範囲内であり、且つ、変化領域の縦横比が人物の縦横比に相当する所定範囲内であるか否かにより、その変化領域に写っている物体が人物らしいか否かを判定する。なお、各変化領域の大きさは、撮影画像内の位置、及び、記憶部４０に記憶されている撮影部１０の設置情報４２等を用いて実際の大きさに変換される。
次に、対象物判定手段６０２は、検出手段５９が検出した非基準面領域の位置情報を記憶部４０から読出し、写っている物体が人物らしいと判定された各変化領域が非基準面領域と重複する度合いである重複度を算出する。対象物判定手段６０２は、重複度が所定値（例えば９８％）以上である場合、その変化領域に人物が写っていないと判定する。一方、対象物判定手段６０２は、重複度が所定値未満である場合、その変化領域に人物が写っていると判定する。

図４（ａ）は、非基準面領域と人物との関係について説明するための模式図であり、図４（ｂ）は、非基準面領域と小動物、光又は植栽との関係について説明するための模式図である。図４（ａ）の画像４００に示すように、人物は、通常、床面（基準面）上に立っており、壁、柱、植栽等の非床面（非基準面）上には立っていない。したがって、人物が写っている変化領域４０４の少なくとも一部（下部）は、基準面領域４０１に含まれ、人物が写っている変化領域４０４の全部が、非基準面領域４０３、４０４に内包されることはない。一方、図４（ｂ）の画像４１０に示すように、変化領域４１１、４１２、４１３の全部が、非基準面領域４０３、４０４に含まれる場合、その変化領域４１１、４１２、４１３には、小動物、光、植栽等が写っている可能性が高い。したがって、対象物判定手段６０２は、変化領域と非基準面領域の重複度を用いることにより、変化領域に人物が写っているか否かを精度良く判定することが可能となる。

なお、対象物判定手段６０２は、先に、変化領域検出手段６０１が抽出した各変化領域と非基準面領域の重複度を算出し、重複度が所定値未満である変化領域についてのみ、大きさ、縦横比等の特徴量に基づいて、その変化領域に写っている物体が検出対象物らしいか否かを判定してもよい。
また、対象物判定手段６０２は、変化領域が非基準面領域と重複する位置に基づいて、変化領域に検出対象物が写っているか否かを判定してもよい。例えば、対象物判定手段６０２は、変化領域の下端が、非基準面領域と重複している場合、その変化領域に人物が写っていないと判定し、重複していない場合、その変化領域に人物が写っていると判定する。
これらの場合も、対象物判定手段６０２は、変化領域に人物が写っているか否かを精度良く判定することが可能となる。

また、小動物を検出対象物とする場合、対象物判定手段６０２は、変化領域と、非基準面領域の重複度が所定値（例えば９０％）以上であるときに、その変化領域に小動物が写っていると判定してもよい。また、対象物判定手段６０２は、非基準面領域での変化領域の時間的な変化（移動方向）に基づいて、その変化領域に小動物が写っているか否かを判定してもよい。例えば、対象物判定手段６０２は、変化領域が、非基準面領域内を上方向又は下方向に向かって移動していく場合、その変化領域に小動物が写っていると判定する。

図５は、画像処理装置１による準備画像生成処理の動作を示すフローチャートである。
以下、図５に示したフローチャートを参照しつつ、本実施形態による準備画像生成処理の動作を説明する。なお、以下に説明する動作のフローは、記憶部４０に記憶され、制御部５０に読み込まれたプログラムに従って、制御部５０により実行される。この動作のフローは、対処員が操作する外部装置から入力部（不図示）を介して準備画像生成処理の実行を指示する制御信号を受信したときに実行される。
最初に、準備画像生成手段５３は、撮影部１０から点灯準備画像及び消灯準備画像を取得する（ステップＳ１０１）。次に、準備画像生成手段５３は、点灯準備画像及び消灯準備画像に基づいて第２準備画像を生成し、記憶部４０に記憶し（ステップＳ１０２）、一連のステップを終了する。

図６は、画像処理装置１による仮定画像生成処理の動作を示すフローチャートである。
以下、図６に示したフローチャートを参照しつつ、本実施形態による仮定画像生成処理の動作を説明する。なお、以下に説明する動作のフローは、記憶部４０に記憶され、制御部５０に読み込まれたプログラムに従って、制御部５０により実行される。この動作のフローは、対処員が操作する外部装置から入力部（不図示）を介して仮定画像生成処理の実行を指示する制御信号を受信したときに実行される。なお、この動作のフローは、準備画像生成処理に続けて実行されてもよい。
最初に、距離取得手段５４は、記憶部４０を参照して、第１準備画像に含まれる各画素に対応する基準面の位置と撮影部１０との間の第１距離を取得する（ステップＳ２０１）。次に、準備画像取得手段５５は、第２準備画像を取得する（ステップＳ２０２）。次に、準備画像取得手段５５は、第２準備画像に含まれる各画素に写っている物体の反射率、及び、各画素に対応する物体の位置と撮影部１０との間の第２距離を取得する（ステップＳ２０３）。次に、仮定画像生成手段５６は、第２準備画像に基づいて仮定画像を生成し、記憶部４０に記憶し（ステップＳ２０４）、一連のステップを終了する。
なお、ステップＳ２０１、Ｓ２０２、Ｓ２０３の各処理は、どのような順序で実行されてもよい。

図７は、画像処理装置１による非基準面領域検出処理の動作を示すフローチャートである。
以下、図７に示したフローチャートを参照しつつ、本実施形態による非基準面領域検出処理の動作を説明する。なお、以下に説明する動作のフローは、記憶部４０に記憶され、制御部５０に読み込まれたプログラムに従って、制御部５０により実行される。この動作のフローは、動作モードが非基準面検出モードである場合に定期的に実行される。
最初に、入力画像取得手段５７は、撮影部１０から点灯入力画像及び消灯入力画像を取得する（ステップＳ３０１）。次に、入力画像取得手段５７は、点灯入力画像及び消灯入力画像に基づいて入力画像を生成する（ステップＳ３０２）。次に、露光補正手段５８は、仮定画像を取得する（ステップＳ３０３）。次に、露光補正手段５８は、露光情報を取得する（ステップＳ３０４）。次に、露光補正手段５８は、露光情報に基づいて仮定画像を補正する（ステップＳ３０５）。次に、検出手段５９は、入力画像と仮定画像とを比較して、入力画像において非基準面領域を検出し、その位置情報を記憶部４０に記憶し（ステップＳ３０６）、一連のステップを終了する。

図８は、検出対象物が人物である場合の画像処理装置１による対象物検出処理の動作を示すフローチャートである。
以下、図８に示したフローチャートを参照しつつ、本実施形態による対象物検出処理の動作を説明する。なお、以下に説明する動作のフローは、記憶部４０に記憶され、制御部５０に読み込まれたプログラムに従って、制御部５０により実行される。この動作のフローは、動作モードが対象物検出モードである場合に定期的に実行される。
最初に、対象物検出手段６０は、撮影部１０から撮影画像を取得する（ステップＳ４０１）。次に、変化領域検出手段６０１は、撮影画像から変化領域を検出する（ステップＳ４０２）。撮影画像から変化領域が検出されなかった場合、対象物検出手段６０は、処理をステップＳ４０１へ戻し、再度、撮影部１０から撮影画像を取得するまで待機する。一方、撮影画像から変化領域が検出された場合、変化領域検出手段６０１は、検出した各変化領域についてステップＳ４０４〜Ｓ４１０の処理を実行する。

最初に、対象物判定手段６０２は、検出した変化領域について人物の特徴量を算出する（ステップＳ４０４）。次に、対象物判定手段６０２は、算出した特徴量に基づいて、その変化領域に写っている物体が人物らしいか否かを判定する（ステップＳ４０５）。変化領域に写っている物体が人物らしくない場合、対象物判定手段６０２は、変化領域に人物が写っていないと判定する（ステップＳ４０６）。一方、変化領域に写っている物体が人物らしい場合、対象物判定手段６０２は、変化領域と、非基準面領域の重複度を算出する（ステップＳ４０７）。次に、対象物判定手段６０２は、重複度が所定値以上であるか否かを判定する（ステップＳ４０８）。重複度が所定値以上である場合、対象物判定手段６０２は、変化領域に人物が写っていないと判定する（ステップＳ４０６）。一方、重複度が所定値未満である場合、対象物判定手段６０２は、変化領域に人物が写っていると判定し（ステップＳ４０９）、判定結果を含む結果信号を出力部３０を介して外部装置へ出力する（ステップＳ４１０）。対象物判定手段６０２は、検出した各変化領域についてステップＳ４０４〜Ｓ４１０の処理を実行し、全ての変化領域についての処理が完了した場合、処理をステップＳ４０１へ戻し、再度、撮影部１０から撮影画像を取得するまで待機する。

以上説明してきたように、本実施形態による画像処理装置１は、所定の高反射率の基準面が撮影された場合を仮定した仮定画像を生成し、入力画像と仮定画像とを比較して非基準面領域を検出する。これにより、画像処理装置１は、第２準備画像を撮影する際の撮像部１０の照明条件と、入力画像を撮影する際の撮像部１０の照明条件とを一致させれば、撮像部１０と撮像部１０により撮影される監視空間に存在する壁、柱、植栽等の物体との位置関係を固定させることなく、非基準面領域を検出することができる。したがって、画像処理装置１は、撮影部１０により撮影された画像から基準面以外の物体が写っている領域を容易に且つ精度良く検出することができる。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、第２準備画像（点灯準備画像及び消灯準備画像）を撮影する撮影装置は、入力画像を撮影する撮影部１０と同一の撮影装置であることに限定されず、撮影部１０とは異なる装置でもよい。その場合、第２準備画像パラメータにおける第２距離として、第２準備画像内の各画素に対応する物体の位置と、第２準備画像を撮影した撮影装置との間の第２距離が記憶部４０に記憶される。また、第２準備画像露光情報として、第２準備画像を撮影した撮影装置に設定された、シャッター速度又はゲイン値等の露光情報が記憶部４０に記憶される。

また、仮定画像を生成する装置は、画像処理装置１に限定されず、画像処理装置１以外の他の装置が、仮定画像を生成するために必要な各情報を記憶して、仮定画像を生成してもよい。その場合、画像処理装置１は、予め、不図示の入力部を介して仮定画像を取得して記憶部４０に記憶しておく。

また、監視空間内に設定する基準面は、床面に限定されず、例えば壁面、柱面等でもよい。その場合、画像処理装置１は、壁面、柱面等の前に物体が存在する領域を非基準面として検出することができる。

また、第１距離は、第１準備画像に基づいて、第１準備画像に写っている監視空間内に基準面が存在すると仮定して算出されることに限定されない。撮影部１０の基準面からの設置高さ、俯角及び画角が定まれば、監視空間における基準面の位置と撮影部１０との間の第１距離は、一義的に算出される。したがって、例えば、第２準備画像内の各画素に、撮影部１０により事前に撮影された監視空間内の基準面が写っていると仮定して、第２準備画像に含まれる各画素毎に、各画素に対応する基準面の位置と撮影部１０との間の第１距離が算出され、距離情報４３として記憶されてもよい。その場合、仮定画像生成部５６は、準備画像に含まれる各画素の輝度値を、第２準備画像内の各画素における第２距離と各画素に対応する第１距離との比率に基づいて補正して仮定画像を生成する。
なお、画像処理装置１は、撮影部１０の基準面からの設置高さ等が変更された場合、第１距離を再算出し、前述の方法により、仮定画像を再生成して更新し、非基準面領域を再検出して更新してもよい。その場合、画像処理装置１は、第１距離を定期的に測定し、第１距離に変化があった場合に、第１距離、仮定画像及び非基準面領域を更新してもよい。

また、仮定画像は、準備画像を用いて算出されることに限定されない。例えば、仮定画像として、入力画像が撮影される場合と同じ照明条件で、撮像部１０から第１距離の位置に高反射率（例えば１００％）の床面が写っていると仮定した画像が、公知のＣＧ（コンピュータグラフィック）技術を用いてシミュレーションにより生成されて記憶部４０に記憶されてもよい。その場合、仮定画像は、撮像部１０のレンズ特性又は各種の撮影パラメータを用いてシミュレーションにより生成されてもよい。
また、シミュレーションにより仮定画像を生成した際に用いた露光条件を露光情報として、入力画像の露光条件と一致させる露光補正を行えばよい。また、これに限らず、入力画像の露光情報を用いてシミュレーションにより仮定画像を生成するようにしてもよい。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１画像処理装置
１０撮影部
２０照明部
５４距離取得手段
５５準備画像取得手段
５６仮定画像生成手段
５７入力画像取得手段
５９検出手段
６０１変化領域検出手段
６０２対象物判定手段

Claims

第１撮影装置により所定空間が撮影された入力画像を処理する画像処理装置であって、
所定の高反射率の、前記所定空間における基準面が撮影された場合を仮定した仮定画像を記憶している記憶部と、
前記入力画像を取得する入力画像取得部と、
前記入力画像に含まれる各画素の輝度値と、前記仮定画像に含まれる、前記入力画像の当該画素の位置に対応する画素の輝度値とを比較して、前記入力画像において前記基準面と異なる物体が写っている非基準面領域を検出する検出部と、
を有することを特徴とした画像処理装置。
前記仮定画像は、第２撮影装置により所定物体が撮影された準備画像に含まれる各画素の輝度値を、前記所定物体の反射率と前記所定の高反射率との比率、及び、当該画素に対応する前記所定物体の位置と前記第２撮影装置との間の第２距離と当該画素に対応する前記所定空間における基準面の位置と前記第１撮影装置との間の第１距離との比率に基づいて補正することにより生成される、請求項１に記載の画像処理装置。
第１撮影装置により所定空間が撮影された入力画像を処理する画像処理装置であって、
前記所定空間における基準面の位置と前記第１撮影装置との間の第１距離を取得する距離取得部と、
第２撮影装置により所定物体が撮影された準備画像、前記所定物体の反射率、及び、前記準備画像に含まれる画素毎に、当該画素に対応する前記所定物体の位置と前記第２撮影装置との間の第２距離を取得する準備画像取得部と、
前記準備画像に含まれる各画素の輝度値を、前記所定物体の反射率と所定の高反射率との比率、及び、当該画素に対応する前記第２距離と当該画素に対応する前記第１距離との比率に基づいて補正して、前記高反射率の前記基準面が撮影された場合を仮定した仮定画像を生成する仮定画像生成部と、
前記入力画像を取得する入力画像取得部と、
前記入力画像に含まれる各画素の輝度値と、前記仮定画像に含まれる、前記入力画像の当該画素の位置に対応する画素の輝度値とを比較して、前記入力画像において前記基準面と異なる物体が写っている非基準面領域を検出する検出部と、
を有することを特徴とした画像処理装置。
前記準備画像又は前記入力画像は、照明装置が点灯した状態で撮影された点灯画像、及び、前記照明装置が消灯した状態で撮影された消灯画像に基づいて、外乱光の影響が除去された画像である、請求項２または３に記載の画像処理装置。
前記第１撮影装置と前記第２撮影装置は、同一の撮影装置である、請求項２〜４の何れか一項に記載の画像処理装置。
前記基準面は、床面であり、
前記第１撮影装置により前記所定空間が異なるタイミングで撮影された複数の撮影画像から変化領域を検出する変化領域検出部と、
前記変化領域が、前記非基準面領域と重複する度合いに基づいて、前記変化領域に対象物が写っているか否かを判定する対象物判定部と、をさらに有する、請求項１〜５の何れか一項に記載の画像処理装置。