JP7338174B2

JP7338174B2 - 物体検出装置および物体検出方法

Info

Publication number: JP7338174B2
Application number: JP2019040867A
Authority: JP
Inventors: 清明田中; 郁奈辻
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2019-03-06
Filing date: 2019-03-06
Publication date: 2023-09-05
Anticipated expiration: 2039-03-06
Also published as: JP2020144607A; WO2020179638A1

Description

本発明は、魚眼カメラの画像を用いて人を検出する技術に関する。

ビルディングオートメーション（ＢＡ）やファクトリーオートメーション（ＦＡ）の分野において、画像センサにより人の「数」・「位置」・「動線」などを自動で計測し、照明や空調などの機器を最適制御するアプリケーションが必要とされている。このような用途では、できるだけ広い範囲の画像情報を取得するために、魚眼レンズ（フィッシュアイレンズ）を搭載した超広角のカメラ（魚眼カメラ、全方位カメラ、全天球カメラなどと呼ばれるが、いずれも意味は同じである。本明細書では「魚眼カメラ」の語を用いる。）を利用することが多い。

魚眼カメラで撮影された画像は大きく歪んでいる。それゆえ、魚眼カメラの画像（以後「魚眼画像」と呼ぶ。）から人体や顔などを検出する場合には、あらかじめ魚眼画像を平面展開することで歪みの少ない画像に補正した後に検出処理にかけるという方法が一般的である（特許文献１参照）。

特開２０１６－３９５３９号公報

しかしながら、従来技術では次のような問題がある。一つは、魚眼画像を平面展開するという前処理が発生することで、全体の処理コストが大きくなるという問題である。これは、リアルタイムの検出処理を困難にし、機器制御の遅延を招く可能性があり、好ましくない。二つ目の問題は、魚眼カメラの真下など、ちょうど平面展開時の境界（画像の切れ目）の位置に存在する人や物体の像が、平面展開の処理によって大きく変形してしまったり、像が分断されてしまったりして、正しく検出できない恐れがあることである。

これらの問題を回避するため、本発明者らは、魚眼画像をそのまま（「平面展開せずに」という意味である。）検出処理にかけるというアプローチを研究している。しかし、通常のカメラ画像に比べ、魚眼画像の場合は、検出対象となる人の見え方（人体の傾き、歪み、大きさ）のバリエーションが増加するため、検出が困難となる。特に、ＢＡやＦＡなどのアプリケーションを想定した場合、画像中に、イス、パーソナルコンピュータ、ごみ箱、扇風機、サーキュレーターなど、人体や頭部と誤り易い物体が多く存在するため、検出精度の低下を招きやすい。

本発明は上記実情に鑑みなされたものであって、魚眼画像から高速に且つ高精度に人を検出する技術を提供することを目的とする。

上記目的を達成するために本発明は、以下の構成を採用する。

本発明の第一側面は、検出対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を解析して、前記検出対象エリア内に存在する人を検出する人検出装置であって、魚眼画像である動画から、連続するフレーム間の差分を表す差分画像を生成する差分生成
部と、前記差分画像における、前記差分が閾値よりも大きい１つ以上の画素群から、人に対応する画素群を検出する第１の人検出部と、を有し、前記差分生成部は、前記魚眼画像で人が相対的に小さく写る位置またはエリアについて、連続する３つ以上のフレームを用いて得られる複数の前記差分の合計が表されるように、前記差分画像を生成することを特徴とする人検出装置を提供する。

本発明の第二側面は、検出対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を解析して、前記検出対象エリア内に存在する人を検出する人検出装置であって、魚眼画像である動画から、連続するフレーム間の差分を表す差分画像を生成する差分生成部と、前記差分画像における、前記差分が閾値よりも大きい１つ以上の画素群から、人に対応する画素群を検出する第１の人検出部と、を有し、前記差分生成部は、前記魚眼画像で人が相対的に小さく写る位置またはエリアについて、前記差分を増幅した値が表されるように、前記差分画像を生成することを特徴とする人検出装置を提供する。

本発明の第三側面は、検出対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を解析して、前記検出対象エリア内に存在する人を検出する人検出装置であって、魚眼画像である動画から、連続するフレーム間の差分を表す差分画像を生成する差分生成部と、前記差分画像における、前記差分が閾値よりも大きい１つ以上の画素群から、人に対応する画素群を検出する第１の人検出部と、を有し、前記第１の人検出部は、前記魚眼画像で人が相対的に小さく写る位置またはエリアについて、他の部分よりも小さい閾値を用いることを特徴とする人検出装置を提供する。

「魚眼カメラ」は、魚眼レンズを搭載したカメラであり、通常のカメラに比べて超広角での撮影が可能なカメラである。全方位カメラや全天球カメラも魚眼カメラの一種である。魚眼カメラは、検出対象エリアの上方から検出対象エリアを見下ろすように設置されていればよい。典型的には魚眼カメラの光軸が鉛直下向きとなるように設置されるが、魚眼カメラの光軸が鉛直方向に対して傾いていても構わない。

本発明は、魚眼画像で人が相対的に小さく写る位置またはエリアについて、他の部分よりも、差分画像によって表された差分が閾値を超えやすくなるようにするというシンプルな方法により、高精度な人検出を簡易な処理で実現することができる。しかも、魚眼画像を平面展開するなどの前処理が不要なため、高速な処理が実現できる。

前記差分生成部は、前記魚眼画像の中心から遠いほど多くのフレームを用いて前記差分画像を生成してもよい。前記差分生成部は、前記魚眼画像の中心から遠いほど高い増幅率で前記差分を増幅して、前記差分画像を生成してもよい。前記第１の人検出部は、前記魚眼画像の中心から遠いほど小さい閾値を用いてもよい。人検出装置は、前記第１の人検出部とは異なる方法で、前記魚眼画像から人に対応する画素群を検出する第２の人検出部と、前記第１の人検出部で検出された画素群と、前記第２の人検出部で検出された画素群とに基づいて、それらの画素群から人に対応する画素群を絞り込む絞り込み部と、をさらに有してもよい。

本発明の第四側面は、検出対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を解析して、前記検出対象エリア内に存在する人を検出する人検出方法であって、魚眼画像である動画から、連続するフレーム間の差分を表す差分画像を生成する差分生成ステップと、前記差分画像における、前記差分が閾値よりも大きい１つ以上の画素群から、人に対応する画素群を検出する人検出ステップと、を有し、前記差分生成ステップでは、前記魚眼画像で人が相対的に小さく写る位置またはエリアについて、連続する３つ以上のフレームを用いて得られる複数の前記差分の合計が表されるように、前記差分画像を生成することを特徴とする人検出方法を提供する。

本発明の第五側面は、検出対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を解析して、前記検出対象エリア内に存在する人を検出する人検出方法であって、魚眼画像である動画から、連続するフレーム間の差分を表す差分画像を生成する差分生成ステップと、前記差分画像における、前記差分が閾値よりも大きい１つ以上の画素群から、人に対応する画素群を検出する人検出ステップと、を有し、前記差分生成ステップでは、前記魚眼画像で人が相対的に小さく写る位置またはエリアについて、前記差分を増幅した値が表されるように、前記差分画像を生成することを特徴とする人検出方法を提供する。

本発明の第六側面は、検出対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を解析して、前記検出対象エリア内に存在する人を検出する人検出方法であって、魚眼画像である動画から、連続するフレーム間の差分を表す差分画像を生成する差分生成ステップと、前記差分画像における、前記差分が閾値よりも大きい１つ以上の画素群から、人に対応する画素群を検出する人検出ステップと、を有し、前記人検出ステップでは、前記魚眼画像で人が相対的に小さく写る位置またはエリアについて、他の部分よりも小さい閾値を用いることを特徴とする人検出方法を提供する。

本発明は、上記手段の少なくとも一部を有する人検出装置として捉えてもよいし、検出した人を認識（識別）する人認識装置、検出した人をトラッキングする人追跡装置、あるいは画像処理装置や監視システムとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む人検出方法、人認識方法、人追跡方法、画像処理方法、監視方法として捉えてもよい。また、本発明は、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

本発明によれば、魚眼画像から高速に且つ高精度に人を検出することができる。

図１は、本発明に係る人検出装置の適用例を示す図である。図２は、魚眼画像の例を示す図である。図３は、差分画像の例を示す図である。図４は、人検出装置を備える監視システムの構成を示す図である。図５は、人検出処理のフローチャートである。図６は、フレーム数情報の例を示す図である。図７は、フレーム数情報を用いた差分画像の生成方法を示す図である。図８は、増幅率情報の例を示す図である。図９は、増幅率情報を用いた差分画像の生成方法を示す図である。図１０は、閾値情報の例を示す図である。図１１は、閾値情報を用いた人候補画素群の検出方法を示す図である。図１２は、人検出装置の他の構成を示す図である。

＜適用例＞
図１を参照して、本発明に係る人検出装置の適用例を説明する。人検出装置１は、検出対象エリア１１の上方（例えば天井１２など）に設置された魚眼カメラ１０により得られた魚眼画像を解析して、検出対象エリア１１内に存在する人（人１３ａ，１３ｂ）を検出する装置である。この人検出装置１は、例えば、オフィスや工場などにおいて、検出対象エリア１１を通行する人の検出、認識、追跡などを行う。図１の例では、魚眼カメラ１０
により、魚眼画像である動画が得られる（動画の各フレームの画像が魚眼画像である）。そして、人検出装置１は、連続するフレーム間の差分を表す差分画像を動画（魚眼画像）から生成し、差分画像における、差分が閾値よりも大きい１つ以上の画素群から、人に対応する画素群を検出する。人検出装置１の検出結果は、外部装置に出力され、例えば、人数のカウント、照明や空調など各種機器の制御、不審者の監視などに利用される。

魚眼カメラ１０で検出対象エリア１１を見下ろすように撮影した場合、魚眼カメラ１０との位置関係に依存して人の見え方（写り方）が大きく変わる。それゆえ、魚眼画像は、画像上での人のサイズが画像上の位置に応じて変化するという特性をもつ。そして、人が同じ移動量で移動した場合、魚眼画像上での人の位置の変化量は、魚眼画像で人が相対的に小さく写る位置またはエリアで、他の部分よりも小さくなる。それゆえ、差分画像は、魚眼画像で人が相対的に小さく写る位置またはエリアにおいて、他の部分よりも、差分が小さくなりやすく、差分が閾値を超えにくいという特性をもつ。人検出装置１は、このような差分画像の特性を考慮し、魚眼画像で人が相対的に小さく写る位置またはエリアについて他の部分よりも差分が閾値を超えやすくなるようにするというシンプルな方法を採用する点に特徴の一つを有する。また、人検出装置１は、魚眼画像をそのまま（つまり、平面展開や歪み補正などの前処理を行わずに）人検出処理に用いる点にも特徴の一つを有する。

＜魚眼画像の特性＞
図２は、魚眼カメラ１０から取り込まれた魚眼画像の例を示す。画像座標系は、魚眼画像の左下のコーナーを原点（０，０）とし、横方向右側にｘ軸、縦方向上側にｙ軸をとる。

光軸が鉛直下向きになるように魚眼カメラ１０を設置した場合、人の写る大きさは、魚眼画像の中心で最も大きく、中心から遠ざかるにつれ小さくなる。このように、魚眼画像は、画像中心を基準とした距離に依存して人の写る大きさが変化する（距離が長いほどサイズが小さい）、という特性を有する。魚眼画像上の位置またはエリアごとのサイズ（人の写る大きさ）は、魚眼カメラ１０の光学特性、魚眼カメラ１０と検出対象エリア１１の位置関係、および、平均的な人体のサイズを基に、幾何学的に計算（予測）することが可能である。

＜差分画像の特性＞
図３は、魚眼画像である動画の現フレーム（現在のフレーム）と前フレーム（現フレームの１つ前のフレーム）との差分を表す差分画像の例を示す。図３には、ｙ軸の値Ｙにおける差分の分布も示されている。

上述したように、（人の体格が同じである場合、）魚眼画像の中心から遠いほど、魚眼画像上での人のサイズは小さい。このため、人が同じ移動量で移動した場合、魚眼画像上での人の位置の変化量は、魚眼画像の中心で最も大きく、中心から遠ざかるにつれ小さくなる。そして、魚眼画像では、人を構成する画素間の差分は小さいことが多い。このため、魚眼画像上での人の位置の変化量が小さい場合、連続するフレーム間の差分は小さくなりやすい。つまり、連続するフレーム間の差分は、魚眼画像の中心で最も大きく、中心から遠ざかるにつれ小さくなる。このように、差分画像は、画像中心を基準とした距離に依存して差分（連続するフレーム間の差分）が変化する（距離が長いほど差分が小さい；距離が長いほど差分が閾値を超えにくい）、という特性を有する。

＜監視システム＞
図４を参照して、本発明の実施形態を説明する。図４は、本発明の実施形態に係る人検出装置を適用した監視システムの構成を示すブロック図である。監視システム２は、概略
、魚眼カメラ１０と人検出装置１とを備えている。

魚眼カメラ１０は、魚眼レンズを含む光学系と撮像素子（ＣＣＤやＣＭＯＳなどのイメージセンサ）を有する撮像装置である。魚眼カメラ１０は、例えば図１に示すように、検出対象エリア１１の天井１２などに、光軸を鉛直下向きにした状態で設置され、検出対象エリア１１の全方位（３６０度）の画像を撮影するとよい。魚眼カメラ１０は人検出装置１に対し有線（ＵＳＢケーブル、ＬＡＮケーブルなど）または無線（ＷｉＦｉなど）で接続され、魚眼カメラ１０で撮影された画像データは人検出装置１に取り込まれる。画像データはモノクロ画像、カラー画像のいずれでもよく、また画像データの解像度やフレームレートやフォーマットは任意である。本実施形態では、１０ｆｐｓ（１秒あたり１０枚）で取り込まれるモノクロ画像を用いることを想定している。

本実施形態の人検出装置１は、画像入力部２０、差分生成部２１、人検出部２２、記憶部２３、及び、出力部２４を有する。画像入力部２０は、魚眼カメラ１０から画像データ（現フレームの魚眼画像）を取り込む機能を有する。取り込まれた画像データは差分生成部２１に引き渡される。この画像データは記憶部２３に格納されてもよい。差分生成部２１は、画素ごとに現フレームと前フレームの間の差分を表す差分画像を生成する機能を有する。現フレームまでの複数のフレームを記憶する機能を差分生成部２１が有してもよいし、複数のフレームを記憶部２３が記憶し、差分生成部２１が記憶部２３を参照して差分画像を生成してもよい。生成された差分画像は、人検出部２２に引き渡される。人検出部２２は、人を検出するアルゴリズムを用いて、差分画像における、差分が閾値よりも大きい１つ以上の画素群から、人に対応する画素群を検出する機能を有する。記憶部２３は、魚眼画像、検出結果などを記憶する機能を有する。出力部２４は、魚眼画像や検出結果などの情報を外部装置に出力する機能を有する。例えば、出力部２４は、外部装置としてのディスプレイに情報を表示してもよいし、外部装置としてのコンピュータに情報を転送してもよいし、外部装置としての照明装置や空調やＦＡ装置に対し情報や制御信号を送信してもよい。

人検出装置１は、例えば、ＣＰＵ（プロセッサ）、メモリ、ストレージなどを備えるコンピュータにより構成することができる。その場合、図４に示す構成は、ストレージに格納されたプログラムをメモリにロードし、ＣＰＵが当該プログラムを実行することによって実現されるものである。かかるコンピュータは、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよいし、オンボードコンピュータのように組み込み型のコンピュータでもよい。あるいは、図４に示す構成の全部または一部を、ＡＳＩＣやＦＰＧＡなどで構成してもよい。あるいは、図４に示す構成の全部または一部を、クラウドコンピューティングや分散コンピューティングにより実現してもよい。

＜人検出処理＞
図５は、監視システム２による人検出処理のフローチャートである。図５に沿って人検出処理の全体的な流れを説明する。なお、図５のフローチャートは、１フレームの魚眼画像に対する処理を示している。１０ｆｐｓで魚眼画像が入力される場合には、図５の処理が１秒間に１０回実行されることとなる。

まず、画像入力部２０が、魚眼カメラ１０から１フレームの魚眼画像を入力する（ステップＳ５０）。背景技術の欄で述べたように、従来は、魚眼画像の歪みを補正した平面展開画像を作成した後、検出や認識などの画像処理を行っていたが、本実施形態の監視システム２では、魚眼画像をそのまま（歪んだまま）検出や認識の処理に用いる。

次に、差分生成部２１が、現フレーム（ステップＳ５０で入力されたフレーム）までの
複数のフレームを用いて差分画像を生成する（ステップＳ５１）。そして、人検出部２２が、ステップＳ５１で生成された差分画像から、差分が閾値よりも大きい１つ以上の画素からなる画素群を検出する（ステップＳ５２）。以後、差分が閾値よりも大きい画素群を「人候補画素群」と記載する。魚眼画像内に複数の人が存在する場合などでは、複数の人候補画素群が検出される。ステップＳ５１，Ｓ５２の処理は、魚眼画像の中心から遠い位置またはエリア（魚眼画像で人が相対的に小さく写る位置またはエリア）について他の部分よりも差分が閾値を超えやすくなるように行われる（詳細は後述する）。

次に、人検出部２２が、ステップＳ５２で検出された１つ以上の人候補画素群から人画素群（人に対応する画素群）を検出する（ステップＳ５３）。魚眼画像内に複数の人が存在する場合などでは、複数の人画素群が検出される。人画素群の検出方法は特に限定されないが、例えば、所定のサイズ、所定の形状、等との差分が閾値以下の人候補画素群が、人画素群として検出される。魚眼画像では人の写り方が画像上の位置に応じて変化するため、差分画像では人画素群のサイズ、形状、等が画像上の位置に応じて変化する。このため、所定のサイズ、所定の形状、等は、差分画像の位置またはエリアごとに定められる。検出結果には、例えば、検出された領域（人画素群）の情報と、検出の信頼度（人であることの確からしさ）の情報とが含まれるとよい。領域（人画素群）の情報は、例えば、領域の中心座標（ｘ，ｙ）、高さｈ、幅ｗを含むとよい。検出結果は、記憶部２３に格納される。

最後に、出力部２４が、検出結果を外部装置に出力する（ステップＳ５４）。以上で１フレームの魚眼画像に対する処理が終了する。

本実施形態の人検出処理によれば、魚眼画像をそのまま解析し、魚眼画像からダイレクトに人検出を行う。したがって、魚眼画像の平面展開や歪み補正といった前処理を省略でき、高速な人検出処理が可能である。魚眼画像をそのまま検出処理に用いる方法は、平面展開（歪み補正）した後に検出処理を行う方法に比べ、検出精度が低下するという課題がある。本実施形態では、魚眼画像の中心から遠い位置またはエリアで差分が閾値を超えやすくなるようにするため、高精度な検出が実現できる（詳細は後述する）。

＜差分が閾値を超えやすくなるようにする方法＞
魚眼画像の中心から遠い位置またはエリア（魚眼画像で人が相対的に小さく写る位置またはエリア）について他の部分よりも差分が閾値を超えやすくなるようにする方法の具体例を説明する。

（１）第１の方法
第１の方法では、差分生成部２１は、魚眼画像の中心から遠い位置またはエリアについて、連続する３つ以上のフレームを用いて得られる複数の差分（連続するフレーム間の差分）の合計が表されるように、差分画像を生成する。

具体的には、差分生成部２１または記憶部２３は、差分画像の生成に用いるフレームの数を魚眼画像の位置またはエリアごとに示すフレーム数情報を予め記憶する。図６は、フレーム数情報の一例を示す。図６では、魚眼画像が７×５の３５個の小エリアに分割されており、差分画像の生成に用いるフレームの数が各小エリアに対して定められている。上述したように、魚眼画像の中心から遠いほど、連続するフレーム間の差分が閾値を超えにくい。このため、図６では、魚眼画像の中心から遠いほど多いフレーム数が定められている。そして、差分生成部２１は、フレーム数情報に従って、現フレームまでの複数のフレームから差分画像を生成する。

なお、小エリアの数やサイズは特に限定されない。また、図６に示すように、画像中心
をとおりｘ軸およびｙ軸にそれぞれ平行なＡ軸およびＢ軸を考えたとき、フレーム数はＡ軸およびＢ軸に関して対称に変化するように定めることができる。この対称性を利用し、差分生成部２１または記憶部２３には、魚眼画像の１／４の象限のテーブル（例えば、図６の網掛け部分）のみを格納しておくだけでもよい。これによりメモリ容量を削減することができる。

図７を用いて、より詳細に説明する。図７において、Ｎフレームは現フレームであり、Ｎ－１フレームは前フレームである。そして、Ｎ－２フレームは、Ｎフレームの２つ前のフレームであり、Ｎ－３フレームは、Ｎフレームの３つ前のフレームである。Ｎ－２～Ｎフレームでは、魚眼画像の中心部に人１３ａが写っており、魚眼画像の縁部に人１３ｂが写っている。

Ｎ－１フレームとＮフレームから得られる差分画像Ｉ１では、人１３ａに対応する画素の多く（または全て）が閾値を超え、人１３ａに対応する画素群を人画素群として検出できる。しかしながら、人１３ｂに対応する全て（または多く）の画素が閾値を超えず、人１３ｂに対応する画素群を人画素群として検出できないことがある。Ｎ－２フレームとＮ－１フレームから得られる差分画像Ｉ２、及び、Ｎ－３フレームとＮ－２フレームから得られる差分画像Ｉ３についても同様である。

そこで、差分生成部２１は、図６のフレーム数情報に従い、人１３ｂが写っている小エリアで、Ｎ－３フレーム～Ｎフレームの４つのフレームを用いて得られる複数の差分の合計が表されるように、差分画像Ｉｄｉｆｆを生成する。すなわち、差分生成部２１は、人１３ｂが写っている小エリアで、差分画像Ｉ１～Ｉ３を足し合わせた加算画像Ｉｓｕｍの差分が表されるように、差分画像Ｉｄｉｆｆを生成する。差分画像Ｉ１～Ｉ３の足し合わせにより、人１３ｂに対応し且つ差分が閾値を超える画素群のサイズが増す。これにより、人１３ｂに対応する画素群を人画素群として高精度に検出できるようになる。

なお、加算画像Ｉｓｕｍでは、人１３ａに対応し且つ差分が閾値を超える画素群が非常に大きい。そして、閾値を超える画素群が必要以上に大きいことは、人検出の精度を低下させる。このため、加算画像Ｉｓｕｍからでは、人１３ａに対応する画素群を人画素群として検出できないことがある。そこで、差分生成部２１は、人１３ａが写っている小エリアで、加算画像Ｉｓｕｍの差分値ではなく、差分画像Ｉ１の差分値が表されるように、差分画像Ｉｄｉｆｆを生成する。そうすることで、閾値を超える画素群が必要以上に大きくなることを抑制でき、人検出の精度低下を抑制でき、人１３ａに対応する画素群を人画素群として高精度に検出できるようになる。

（２）第２の方法
第２の方法では、差分生成部２１は、魚眼画像の中心から遠い位置またはエリアについて、差分を増幅した値が表されるように、差分画像を生成する。

具体的には、差分生成部２１または記憶部２３は、差分の増幅率（ゲイン値）を魚眼画像の位置またはエリアごとに示す増幅率情報を予め記憶する。図８は、増幅率情報の一例を示す。図８では、魚眼画像が７×５の３５個の小エリアに分割されており、各小エリアに対して増幅率が定められている。上述したように、魚眼画像の中心から遠いほど、連続するフレーム間の差分が閾値を超えにくい。このため、図８では、魚眼画像の中心から遠いほど高い増幅率が定められている。そして、差分生成部２１は、増幅率情報によって示された増幅率をフレーム間の差分に乗算して、差分画像を生成する。なお、差分の増幅方法は特に限定されない。例えば、増幅率の代わりに、差分に加算する加算値（オフセット値）が使用されてもよい。

図９を用いて、より詳細に説明する。前フレームと現フレームでは、魚眼画像の中心部に人１３ａが写っており、魚眼画像の縁部に人１３ｂが写っている。図７の差分画像Ｉ１を用いて説明したように、差分の増幅を行わない場合、現フレームと前フレームから得られる差分画像では、人１３ｂに対応する全て（または多く）の画素が閾値を超えず、人１３ｂに対応する画素群を人画素群として検出できないことがある。

そこで、差分生成部２１は、図８の増幅率情報に従い、人１３ｂが写っている小エリアの差分を１．７倍に増幅する。差分の増幅により、人１３ｂに対応し且つ差分が閾値を超える画素群のサイズが増す。これにより、人１３ｂに対応する画素群を人画素群として高精度に検出できるようになる。

また、魚眼画像の中心に近づくにつれ増幅率が低下することにより、閾値を超える画素群が必要以上に大きくなることを抑制でき、人検出の精度低下を抑制できる。具体的には、図８の増幅率情報では、人１３ａが写っている小エリアの増幅率が１．０であるため、差分生成部２１は、人１３ａが写っている小エリアの差分を増幅しない。これにより、人１３ａに対応する画素群を人画素群として高精度に検出できるようになる。

（３）第３の方法
第３の方法では、人検出部２２は、魚眼画像の中心から遠い位置またはエリアについて、他の部分よりも小さい閾値を用いて、人候補画素群を検出する。

具体的には、人検出部２２または記憶部２３は、人候補画素群の検出のための閾値を魚眼画像の位置またはエリアごとに示す閾値情報を予め記憶する。図１０は、閾値情報の一例を示す。図１０では、魚眼画像が７×５の３５個の小エリアに分割されており、各小エリアに対して閾値が定められている。図１０では、中心の小エリアの閾値を１００％として、各小エリアの閾値が［％］で示されている。上述したように、魚眼画像の中心から遠いほど、連続するフレーム間の差分が閾値を超えにくい。このため、図１０では、魚眼画像の中心から遠いほど小さい閾値が定められている。そして、人検出部２２は、閾値情報によって示された閾値を用いて、差分画像から人候補画素群を検出する。

図１１を用いて、より詳細に説明する。前フレームと現フレームでは、魚眼画像の中心部に人１３ａが写っており、魚眼画像の縁部に人１３ｂが写っている。図７の差分画像Ｉ１を用いて説明したように、１つの閾値を用いた場合、現フレームと前フレームから得られる差分画像では、人１３ｂに対応する全て（または多く）の画素が閾値を超えず、人１３ｂに対応する画素群を人画素群として検出できないことがある。

そこで、人検出部２２は、図１０の閾値情報に従い、人１３ｂが写っている小エリアの閾値として、人１３ａが写っている小エリアの閾値よりも小さい値を用いる。小さい閾値を用いることにより、人１３ｂに対応し且つ差分が閾値を超える画素群のサイズが増す。これにより、人１３ｂに対応する画素群を人画素群として高精度に検出できるようになる。

また、魚眼画像の中心に近づくにつれ閾値が大きくなることにより、閾値を超える画素群が必要以上に大きくなることを抑制でき、人検出の精度低下を抑制でき、人１３ａに対応する画素群を人画素群として高精度に検出できるようになる。

＜その他＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、図６，８，１０に示したテーブルの値などはいずれも説明のための例示に
すぎない。また、第１～第３の方法を適宜組み合わせてもよい。具体的には、差分画像の生成に用いるフレームの数を適宜変更する処理、差分を適宜増幅しする処理、及び、閾値を適宜変更する処理のうちの２つまたは３つが行われてもよい。

また、図１２に示すように、人検出装置１は、人検出部２５と絞り込み部２６をさらに有してもよい。人検出部２５は、人検出部２２とは異なる方法で魚眼画像から人に対応する画素群を検出する。そして、絞り込み部２６は、人検出部２２で検出された画素群と、人検出部２５で検出された画素群とに基づいて、それらの画素群から人に対応する画素群を絞り込む。例えば、絞り込み部２６は、魚眼画像のうち、人検出部２２で検出された画素群に対応する領域と、人検出部２５で検出された画素群に対応する領域とが重なり合う重畳領域に、人の領域の判断結果を絞り込む。絞り込み部２６は、人検出部２２や人検出部２５で検出された画素群のうち、信頼度（人であることの確からしさ）が閾値以上の画素群に対応する領域を、重畳領域であるか否かにかかわらずに、人の領域として決定してもよい。

なお、人検出部２５による人検出にはどのようなアルゴリズムを用いてもよい。例えば、ＨｏＧやＨａａｒ－ｌｉｋｅなどの画像特徴とブースティングを組み合わせた識別器を用いてもよいし、ディープラーニング（例えば、Ｒ－ＣＮＮ、ＦａｓｔＲ－ＣＮＮ、ＹＯＬＯ、ＳＳＤなど）による人認識を用いてもよい。人の全身を検出対象としてもよいし、上半身など体の一部を検出対象としてもよい。

＜付記＞
（１）検出対象エリア（１１）の上方に設置された魚眼カメラ（１０）により得られた魚眼画像を解析して、前記検出対象エリア（１１）内に存在する人（１３ａ，１３ｂ）を検出する人検出装置（１）であって、
魚眼画像である動画から、連続するフレーム間の差分を表す差分画像を生成する差分生成部（２１）と、
前記差分画像における、前記差分が閾値よりも大きい１つ以上の画素群から、人に対応する画素群を検出する第１の人検出部（２２）と、
を有し、
前記差分生成部（２１）は、前記魚眼画像で人が相対的に小さく写る位置またはエリアについて、連続する３つ以上のフレームを用いて得られる複数の前記差分の合計が表されるように、前記差分画像を生成する
ことを特徴とする人検出装置（１）。

（２）検出対象エリア（１１）の上方に設置された魚眼カメラ（１０）により得られた魚眼画像を解析して、前記検出対象エリア（１１）内に存在する人（１３ａ，１３ｂ）を検出する人検出装置（１）であって、
魚眼画像である動画から、連続するフレーム間の差分を表す差分画像を生成する差分生成部（２１）と、
前記差分画像における、前記差分が閾値よりも大きい１つ以上の画素群から、人に対応する画素群を検出する第１の人検出部（２２）と、
を有し、
前記差分生成部（２１）は、前記魚眼画像で人が相対的に小さく写る位置またはエリアについて、前記差分を増幅した値が表されるように、前記差分画像を生成する
ことを特徴とする人検出装置（１）。

（３）検出対象エリア（１１）の上方に設置された魚眼カメラ（１０）により得られた魚眼画像を解析して、前記検出対象エリア（１１）内に存在する人（１３ａ，１３ｂ）を検出する人検出装置（１）であって、
魚眼画像である動画から、連続するフレーム間の差分を表す差分画像を生成する差分生成部（２１）と、
前記差分画像における、前記差分が閾値よりも大きい１つ以上の画素群から、人に対応する画素群を検出する第１の人検出部（２２）と、
を有し、
前記第１の人検出部（２２）は、前記魚眼画像で人が相対的に小さく写る位置またはエリアについて、他の部分よりも小さい閾値を用いる
ことを特徴とする人検出装置（１）。

（４）検出対象エリア（１１）の上方に設置された魚眼カメラ（１０）により得られた魚眼画像を解析して、前記検出対象エリア（１１）内に存在する人（１３ａ，１３ｂ）を検出する人検出方法であって、
魚眼画像である動画から、連続するフレーム間の差分を表す差分画像を生成する差分生成ステップ（Ｓ５１）と、
前記差分画像における、前記差分が閾値よりも大きい１つ以上の画素群から、人に対応する画素群を検出する人検出ステップ（Ｓ５２，Ｓ５３）と、
を有し、
前記差分生成ステップ（Ｓ５１）では、前記魚眼画像で人が相対的に小さく写る位置またはエリアについて、連続する３つ以上のフレームを用いて得られる複数の前記差分の合計が表されるように、前記差分画像を生成する
ことを特徴とする人検出方法。

（５）検出対象エリア（１１）の上方に設置された魚眼カメラ（１０）により得られた魚眼画像を解析して、前記検出対象エリア（１１）内に存在する人（１３ａ，１３ｂ）を検出する人検出方法であって、
魚眼画像である動画から、連続するフレーム間の差分を表す差分画像を生成する差分生成ステップ（Ｓ５１）と、
前記差分画像における、前記差分が閾値よりも大きい１つ以上の画素群から、人に対応する画素群を検出する人検出ステップ（Ｓ５２，Ｓ５３）と、
を有し、
前記差分生成ステップ（Ｓ５１）では、前記魚眼画像で人が相対的に小さく写る位置またはエリアについて、前記差分を増幅した値が表されるように、前記差分画像を生成することを特徴とする人検出方法。

（６）検出対象エリア（１１）の上方に設置された魚眼カメラ（１０）により得られた魚眼画像を解析して、前記検出対象エリア（１１）内に存在する人（１３ａ，１３ｂ）を検出する人検出方法であって、
魚眼画像である動画から、連続するフレーム間の差分を表す差分画像を生成する差分生成ステップ（Ｓ５１）と、
前記差分画像における、前記差分が閾値よりも大きい１つ以上の画素群から、人に対応する画素群を検出する人検出ステップ（Ｓ５２，Ｓ５３）と、
を有し、
前記人検出ステップ（Ｓ５２）では、前記魚眼画像で人が相対的に小さく写る位置またはエリアについて、他の部分よりも小さい閾値を用いる
ことを特徴とする人検出方法。

１：人検出装置
２：監視システム
１０：魚眼カメラ
１１：検出対象エリア
１２：天井
１３ａ，１３ｂ：人

Claims

検出対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を解析して、前記検出対象エリア内に存在する物体を検出する物体検出装置であって、
魚眼画像である動画から、連続するフレーム間の差分を表す差分画像を生成する差分生成部と、
前記差分画像における、前記差分が閾値よりも大きい１つ以上の画素群から、物体に対応する画素群を検出する第１の物体検出部と、
を有し、
前記差分生成部は、
前記魚眼画像で物体が相対的に小さく写る位置またはエリアについて、連続する３つ以上のフレームを用いて得られる複数の前記差分の合計が表されるように、前記差分画像を生成し、
前記魚眼画像の中心から遠いほど多くのフレームを用いて前記差分画像を生成する
ことを特徴とする物体検出装置。
前記第１の物体検出部とは異なる方法で、前記魚眼画像から物体に対応する画素群を検出する第２の物体検出部と、
前記第１の物体検出部で検出された画素群と、前記第２の物体検出部で検出された画素群とに基づいて、それらの画素群から物体に対応する画素群を絞り込む絞り込み部と、
をさらに有する
ことを特徴とする請求項１に記載の物体検出装置。
前記物体は人である
ことを特徴とする請求項１または２に記載の物体検出装置。
魚眼カメラと、
請求項１～３のいずれか１項に記載の物体検出装置と、
を有することを特徴とするシステム。
検出対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を解析して、前
記検出対象エリア内に存在する物体を検出する物体検出方法であって、
魚眼画像である動画から、連続するフレーム間の差分を表す差分画像を生成する差分生成ステップと、
前記差分画像における、前記差分が閾値よりも大きい１つ以上の画素群から、物体に対応する画素群を検出する物体検出ステップと、
を有し、
前記差分生成ステップでは、
前記魚眼画像で物体が相対的に小さく写る位置またはエリアについて、連続する３つ以上のフレームを用いて得られる複数の前記差分の合計が表されるように、前記差分画像を生成し、
前記魚眼画像の中心から遠いほど多くのフレームを用いて前記差分画像を生成する
ことを特徴とする物体検出方法。
請求項５に記載の物体検出方法の各ステップをコンピュータに実行させるためのプログラム。