JP6746154B1 - 物体検出装置及び混雑状況管理装置 - Google Patents

Abstract

【課題】物体検出精度に関するハイパーパラメータの最適化を図る。【解決手段】本発明に係る物体検出装置は、第１閾値と、第１閾値よりも大きい第２閾値とを記憶した記憶手段と、記画像を取得する取得手段と、スペースに存在する所定の物体を、画像に基づいて検知する検知手段と、検知された所定の物体毎に、所定の物体が存在する確からしさを示す値を算出する算出手段と、画像中の領域のうち、所定数以上の前記所定の物体が検知された混雑エリアを判定する判定手段と、混雑エリア内で検知された所定の物体のうち、値が第１閾値よりも大きい物体を検出する第１検出手段と、画像中の領域のうち混雑エリアを除く非混雑エリア内で検知された所定の物体のうち、値が前記第２閾値よりも大きい物体を検出する第２検出手段と、を有する。【選択図】図９

Description

本発明は、物体検出装置及び混雑状況管理装置
に関する。

従来より、商業施設等の空席管理システムが知られている。例えば特許文献１には、複合商業施設（ショッピングモール）のエントランス広場付近などで配置されるデジタルサイネージにおいて、各店舗の混雑状況を表示するデジタルサイネージ制御装置が記載されている。監視対象店舗毎に設置される監視機器３０は、人感を検知するセンサー３０ａ、人の存在を画像解析するカメラ３０ｂなどの各空席検知デバイスと接続されており、ネットワーク４０を介してクラウド上の制御サーバ１０に対して、監視対象店舗の空席情報を送信する。

また、特許文献２には、１台のカメラで混雑状況の判別ができ、よりリアルタイム性を確保できる混雑情報提供システムが記載されている。混雑情報提供システムは、混雑状況を観測するための定点カメラ１０と、定点カメラ１０に接続された混雑情報演算装置２０と、混雑情報を表示する情報表示装置４０とを備える。混雑情報演算装置２０は、定点カメラ１０が撮影した画像に含まれる人物領域を検出するための人物検出手段と、人物検出手段が検出した人物領域に基づいて前記画像中の人物の数を計測する計測手段と、前記計測手段の計測結果に基づく混雑情報を利用者に提供する提供手段と、を備える。

特許第６１５３１７７号公報 特開２００７−２０１５５６号公報

特許文献１に記載されるような空席管理システムや特許文献２に記載されるような混雑情報提供システムを用いて、例えば複合商業施設におけるフードコートの混雑状況を管理する場合、人の存在を画像解析するカメラで画像を撮像し、画像中の人物の数を計測し、計測結果に基づいて混雑情報を利用者に対して提供することができる。

画像中の人物を検知するに際し、人物検出の精度は、一般に機械学習アルゴリズムの挙動を制御するためのハイパーパラメータ（閾値）により調整可能である。機械学習で使われるモデルには、機械学習で学習されず分析者が設定しなければならないパラメータがあり、これはハイパーパラメータと呼ばれる。

人物検出精度に関するハイパーパラメータを低く調整すると、人検知はしやすいが、検知結果が確かに人であるという精度は低くなる。つまり人以外の物体等も人として検知しやすくなる。一方、このハイパーパラメータを高く調整すると、人検知は検知しにくいが、検知結果が確かに人であるという精度は高くなる。つまり人以外の物体等は人として検知しにくくなる。

実際、ハイパーパラメータを調整する方法は、例えば、良さそうな値を総当たりで入れてみてモデルを作り、その結果を比較して、良さそうな値の中からさらに良さそうな値を選び出すことで可能となる。

しかしながら、フードコートのような施設において、行列をなして混んでいる店舗と空いている店舗がある場合に、その画像中においては、人が混雑している混雑エリアと、そうでない非混雑エリアとが存在する。このため、画像中の混雑エリアにおいては、例えば人物同士が密集し重なっていたりするなどして画像中に人物の一部しか表れていないと、どうしても人物検出の精度は低くなる。一方、非混雑エリアにおいては、画像中に人物の大部分が表われやすく、人物検出の精度は高くなるという特徴がある。

よって、画像中において人が混雑している混雑エリアと、そうでない非混雑エリアとがある場合に、ハイパーパラメータを高く調整すると、混雑エリアでも人検知はしやすいが、画像中の検知結果が確かに人であるという精度は低くなる反面、ハイパーパラメータを低く調整しすぎると、画像中の特に混雑エリアでほとんど人が検知されにくくなってしまうという問題がある。

本発明は、上記の点に鑑み提案されたものであり、一つの側面では、物体検出精度に関するハイパーパラメータの最適化を図ることを目的とする。

上記の課題を解決するため、本発明に係る物体検出装置は、所定のスペースに存在する所定の物体を、前記スペースの画像に基づいて検出する物体検出装置であって、第１閾値と、該第１閾値よりも大きい第２閾値とを記憶した記憶手段と、前記画像を取得する取得手段と、前記スペースに存在する所定の物体を、前記画像に基づいて検知する検知手段と、検知された前記所定の物体毎に、該所定の物体が存在する確からしさを示す値を算出する算出手段と、前記画像中の領域のうち、所定数以上の前記所定の物体が検知された混雑エリアを判定する判定手段と、前記混雑エリア内で検知された前記所定の物体のうち、前記値が前記第１閾値よりも大きい物体を検出する第１検出手段と、前記画像中の領域のうち前記混雑エリアを除く非混雑エリア内で検知された前記所定の物体のうち、前記値が前記第２閾値よりも大きい物体を検出する第２検出手段と、を有する。

本発明の実施の形態によれば、物体検出精度に関するハイパーパラメータの最適化を図ることができる。

本実施形態に係る混雑状況管理システムの構成例を示す図である。 本実施形態に係る管理サーバのハードウェア構成例を示す図である。 本実施形態に係る管理サーバのソフトウェア構成例を示す図である。 本実施形態に係る混雑状況管理ＤＢのデータ例を示す図である。 本実施形態に係るデジタルサイネージの表示画面の一例を示す図である。 本実施形態に係るサンプル画像（その１）を示す図である。 本実施形態に係るサンプル画像（その２）を示す図である。 本実施形態に係る人検知理を示すフローチャート図である。 本実施形態に係る人出知理を示すフローチャート図である。 本実施形態に係るフードコート画像に基づく検出結果の一例を示す。 本実施形態に係る保安検査場画像に基づく検出結果の一例を示す。

本発明の実施の形態について、図面を参照しつつ詳細に説明する。

＜システム構成＞
（ネットワーク構成）
図１は、本実施形態に係る混雑状況管理システムの構成例を示す図である。図１の混雑状況管理システム１００は、管理サーバ１０、デジタルサイネージ２０ａ、携帯端末２０ｂ、カメラ３１、及びＧＷ（ｇａｔｅｗａｙ）３２がネットワーク５０を介して接続されている。

管理サーバ１０は、カメラ３１により撮像された画像に基づいて、施設３０の混雑状況を判定し、デジタルサイネージ２０ａ及び携帯端末２０ｂといった表示装置に、施設３０の混雑状況情報を配信する装置である。配信された混雑状況情報はデジタルサイネージ２０ａ及び携帯端末２０ｂのディスプレイ上に表示される。

デジタルサイネージ２０ａは、施設エントランス、フロア案内壁面などに設置された液晶ディスプレイなどの映像表示装置である。デジタルサイネージ２０ａは、ネットワーク５０を介してクラウド上の管理サーバ１０と接続され、施設３０の混雑状況情報を表示する。

携帯端末２０ｂは、利用者が所持するスマートフォンやタブレット端末、携帯電話などを含む各種の情報処理装置である。予め汎用のウェブブラウザ又は専用アプリケーションがインストールされている。携帯端末２０ｂは、デジタルサイネージ２０ａと同様にネットワーク５０を介してクラウド上の管理サーバ１０と接続され、施設３０の混雑状況情報を表示する。

施設３０は、混雑状況の監視対象となる施設等に設けられた所定のスペースである（以下単に施設という）。本実施形態においては、例えばフードコート施設であり、フードコートスペースの混雑状況が監視対象となりうる。

カメラ３１は、施設３０に設置される撮像装置である。カメラ３１は、施設３０の画像（静止画像及び動画像を含む）をリアルタイムで撮像しており、撮像された画像はＧＷ３２を介して管理サーバ１０に逐一送信される。なお、本実施形態において、１台のカメラ３１により混雑状況の監視対象となる施設３０の全体領域を撮像範囲にカバーする。但し、カメラ３１の設置台数はこの限りではなく、必要に応じて複数台のカメラ３１により施設３０の全体領域を撮像範囲としてカバーしてもよい。

ＧＷ３２は、カメラ３１及びネットワーク５０に接続されたルータ等の通信中継機器である。カメラ３１により撮像された画像は、ＧＷ３２を介して管理サーバ１０に送信される。なお、カメラ３１及びＧＷ３２は通信機能一体型でもよく、この場合にＧＷ３２は不要としてもよい。

ネットワーク５０は、有線、無線を含む通信ネットワークである。ネットワーク５０は、例えば、インターネット、公衆回線網、ＷｉＦｉ（登録商標）などを含む。

（ハードウェア構成）
図２は、本実施形態に係る管理サーバのハードウェア構成例を示す図である。管理サーバ１０は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、ＨＤＤ（Hard Disk Drive）１４、及び通信装置１５を有する。

ＣＰＵ１１は、各種プログラムの実行や演算処理を行う。ＲＯＭ１２は、起動時に必要なプログラムなどが記憶されている。ＲＡＭ１３は、ＣＰＵ１１での処理を一時的に記憶したり、データを記憶したりする作業エリアである。ＨＤＤ１４は、各種データ及びプログラムを格納する。通信装置１５は、ネットワーク５０を介して他装置との通信を行う。

（ソフトウェア構成）
図３は、本実施形態に係る管理サーバのソフトウェア構成例を示す図である。管理サーバ１０は、主な機能部として、画像取得部１０１、人検知部１０２、確度算出部１０３、エリア判定部１０４、混雑エリア検出部１０５、非混雑エリア検出部１０６、出力部１０７、及び記憶部１０８を有する。

画像取得部１０１は、施設３０に設置されているカメラ３１から、施設の画像を取得する。

人検知部１０２は、施設に存在する人（人物・人体）を、画像取得部１０１により取得された画像に基づいて検知する。

確度算出部１０３は、人検知部１０２により検知された人毎に、その人が存在する確からしさを示す確証度の値を算出する。

エリア判定部１０４は、施設の画像中の領域のうち混雑エリア及び非混雑エリアを判定する。具体的には、施設の画像中の領域のうち、所定数以上の人が検知された領域を混雑エリアと判定する。また、施設の画像中の領域のうち、この混雑エリアを除く領域を非混雑エリアと判定する。

混雑エリア検出部１０５は、混雑エリア内で検知された人のうち、その確証度が記憶部１０８の第１閾値よりも大きい人を検出する。

非混雑エリア検出部１０６は、非混雑エリア内で検知された人のうち、その確証度が記憶部１０８の第２閾値よりも大きい人を検出する。

出力部１０７は、施設の画像中の領域のうち、混雑エリア検出部１０５及び非混雑エリア検出部１０６により検出された人の存在領域を出力する。

記憶部１０８は、第１閾値（混雑エリア用ハイパーパラメータ）、及びその第１閾値よりも値が大きい第２閾値（非混雑エリア用ハイパーパラメータ）を記憶している。また、混雑状況管理ＤＢ１０８ａを記憶している。混雑状況管理ＤＢ１０８ａは、施設３０の混雑状況情報をリアルタイムに管理するためのデータベースである。

なお、各機能部は、管理サーバ１０を構成するコンピュータのＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェア資源上で実行されるコンピュータプログラムによって実現されるものである。これらの機能部は、「手段」、「モジュール」、「ユニット」、又は「回路」に読替えてもよい。

（混雑状況管理ＤＢ）
図４は、本実施形態に係る混雑状況管理ＤＢのデータ例を示す図である。混雑状況管理ＤＢ１０８ａは、施設３０の混雑状況情報をリアルタイムに管理するためのデータベースである。混雑状況管理ＤＢ１０８ａは、例えば、「施設ＩＤ」、「施設名」、「設備」などのデータ項目を有する。

「施設ＩＤ」は、施設を一意に特定するために施設毎に付番される固有の識別子を示す。「施設名」は、当該施設の名称を示す。

「設備」は、混雑状況の監視対象となる設備であって、当該施設において利用者に供される具体的な設備等を示す。設備は対象となる施設に応じて複数設定される。例えば、施設がショッピングセンターのフードコートである場合、混雑状況の監視対象となる設備は、利用者に供される各飲食店舗である。また例えば、施設が空港の保安検査場である場合、混雑状況の監視対象となる設備は、利用者に供される各保安検査レーンである。

更に、「設備」毎に混雑状況の情報がリアルタイムに管理・更新される。混雑状況の情報は一例として、「空」、「やや混雑」、「非常に混雑」などがある。但しこれに限られず、他にも例えば具体的な混雑人数などによって管理してもよい。

（デジタルサイネージの表示画面）
図５は、本実施形態に係るデジタルサイネージの表示画面の一例を示す図である。図５のデジタルサイネージ２０は、施設エントランス、フロア案内壁面などに設置され、利用者に対して施設３０の混雑状況情報を表示する。

施設３０のフードコートには、例えば「Ｃａｆｅ」２０１、「らーめん」２０２、「たこ焼」２０３、「クレープ」２０４、「ハンバーガー」２０５などの飲食店舗が入っている。図５に示されるように、デジタルサイネージ２０ａの表示画面上には、各飲食店舗それぞれの混雑状況の情報が表示されている。

具体的には、「Ｃａｆｅ」２０１及び「クレープ」２０４は「空いています」、「らーめん」２０２及び「ハンバーガー」２０５は「非常に混雑しています」、「たこ焼」２０３は「やや混雑しています」との混雑状況情報が表示されている。利用者は、デジタルサイネージ２０ａの表示画面を参照することで、それぞれの混雑状況を容易に把握することが可能である。

＜画像処理＞
図６は、本実施形態に係るサンプル画像（その１）を示す図である。図６の画像は、カメラ３１により撮像されたオリジナル画像に相当する。本オリジナル画像においては、画像中央付近に人が混んでいるところと、画像下方付近に人が空いているところが写っている。以下、画像中、人が混雑している画像領域を混雑エリア、人が混雑していない画像領域を非混雑エリアという。

図７は、本実施形態に係るサンプル画像（その２）を示す図である。図７の画像は、管理サーバ１０が図６のオリジナル画像に対して物体検知処理を実行した後の処理後画像を示す。処理後画像中には、例えば、「ｐｅｒｓｏｎ」（人）、「ｃｌｏｃｋ」（時計）、「ｈａｎｄｂａｇ」（ハンドバック）といった複数の物体が検知されており、検知された物体が存在する領域には四角（矩形）のフォーカス枠が表示されていることが分かる。

このうち特に画像領域ａは、ある所定サイズの矩形領域中において所定数以上の人（ｐｅｒｓｏｎ）が検知されていることから、混雑エリアである。これに対して、画像領域ｂは、ある所定サイズの矩形領域中において所定数以上の人（ｐｅｒｓｏｎ）が検知されていないことから、非混雑エリアである。

また、管理サーバ１０は物体検知処理において人を検知した場合、併せて確からしさを示す値（確度という）を算出する。つまり検知された物体毎又は人毎（フォーカス枠毎ともいえる）に対応する確度が算出され、検知された物体が人として確からしいほど高い確度が算出される。逆に、検知された物体が人として確からしくないほど低い確度が算出される。そして確度が低いほど、検知された物体が人以外である可能性が高くなる。例えば、画像中に人物（人体）の大部分が写っている場合、人としての確からしさは高く判定されるため、検知結果の確度は高く算出される。一方、画像中に人物（人体）の一部しか写っていない場合、人としての確からしさは低く判定されるため、検知されたとしてもその検知結果の確度は低く算出される。

次に管理サーバ１０は、人であろうと検知された検知結果のうち、その確度がハイパーパラメータ値よりも高いものについて、最終的に人であると判定して検出する。ハイパーパラメータ値よりも低い検知結果は除外判定される。よって当該ハイパーパラメータを低く調整すると、人検出自体はされやすいが、人以外の物体等も人として検出されやすくなる。一方、このハイパーパラメータを高く調整すると、人検知は検出自体されにくいが、人以外の物体等は人として検出されにくくなる。

再び図７を参照する。画像領域ａ（混雑エリア）においては、人が混んでいるため、人物同士が密集し重なっていたりするなどして画像中に人物（人体）の一部しか写っていないことも多い。ときに帽子、鞄、靴、又はそれらの一部など、人が有する身の回り品しか写っていない場合もある。例えば、画像中にある人物の影に隠れて位置している人物についてその腕のみが写っている場合、人として検知されたものの、人としての確からしさは低く判定されるため、その確度は低く算出される。

よって、画像領域ａ（混雑エリア）においては、当該ハイパーパラメータを低く調整すると、画像中に人物（人体）の一部しか写っていない人物なども検出されやすくなり、検知漏れをなくせるというメリットがある。但し、人以外の物体等も人として検知しやすくはなる。一方、当該ハイパーパラメータを高く調整すると、確実に人を検知できるものの、画像中に人物（人体）の一部しか写っていない人物などは検出されにくくなり、検知漏れも起こりやすくなる。

画像領域ｂ（非混雑エリア）においては、画像中において人が混んでいないため、画像中に人物（人体）の大部分が写っていることが多い。よって、当該ハイパーパラメータを低く調整し、画像中に人物（人体）の一部しか写っていない人物なども検出されやすくするよりも、当該ハイパーパラメータを高く調整することで、人以外の物体等も人として検知してしまうことを排除し確実に人を検知した方のメリットがある。

従来、当該ハイパーパラメータを、あまりに高すぎることも低すぎることもなく適度な中間値に調整されることが多かった。しかしながら、混雑エリア及び非混雑エリアを含む画像においては最適な調整とは言い難い。即ち本実施形態において、混雑エリア及び非混雑エリアを含む画像においては、混雑エリアには低いハイパーパラメータを適用することで、画像中に人物（人体）の一部しか写っていない人物なども検出されやすくなり、検知漏れをなくせるようにする。また、非混雑エリアには高いハイパーパラメータを適用することで、人以外の物体等も人として検知してしまうことを排除し確実に人を検知するようにする。

なお、特に画像領域ａ（混雑エリア）において、当該ハイパーパラメータを低く調整すると、人以外の物体等も人として検知しやすくなる。しかしながら、ハイパーパラメータの高低調整は、人がいるのにいないと判定されるリスクと、人がいないのにいると判定されるリスクとがトレードオフの関係である。そして両者を比べた場合、混雑エリアの人数を把握する混雑状況管理システムや空席管理システムとっては、人がいるのにいないと判定されることの方が問題である。

＜情報処理＞
次に、管理サーバ１０が実行する人検知処理及び人検出処理について説明する。

（人検知処理）
図８は、本実施形態に係る人検知理を示すフローチャート図である。

Ｓ１：管理サーバ１０は、カメラ３１により撮像された画像を受信したか否かを判定する。また、画像とともに施設３０を一意に特定するための「施設ＩＤ」を受信する。但し必ずしも「施設ＩＤ」を用いなくともよく、管理サーバ１０側において例えばＧＷ３２の有する固有識別子を用いるなど、当該画像がどこの施設３０のものかを特定できればよい。画像を受信した場合、Ｓ２へ進む。

Ｓ２：管理サーバ１０は、受信した画像（オリジナル画像）を対象として、人検知処理を実行する。人検知処理は、画像中に人の存在有無を判定し、人が存在する場合には、画像中の人が存在するであろう「人存在領域」と、その領域に人が存在する確からしさを示す「確度」とを算出する。「人存在領域」は、例えば四角（矩形）のフォーカス枠などで出力することができる（図７）。

Ｓ３：管理サーバ１０は、検知結果を出力する。検出結果は、画像中の人が存在するであろう「人存在領域」及びその領域に人が存在する確からしさを示す「確度」のセットである。なお、確度は、例えば０から１の値を取りうる。また、１に近いほどその領域に人が存在する確からしさが高い。

なお、人検知処理においては、ＹＯＬＯ(Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ)など機械学習手法を用いた画像認識アルゴリズムを用いることができる。

（補足）
上述の人検知処理について、以下補足する。
（１）例えば更に、画像中に写る所定の物体の物理的な大きさ（サイズ）を基準として、人として物理的に想定される画像中の大きさを考慮の上、「人存在領域」と「確度」とを算出することで、人検知精度の向上ひいては混雑エリアの判定精度向上を図ることができる。

例えば、図６及び図７の画像を参照すると、画像中、中央に像オブジェが、通路には座席シートが、天井には照明器具、天井側面にはガラス窓などが設置されている。よって少なくともこれら人以外の物体の物理的な大きさ（サイズ）が分かれば、「人存在領域」と「確度」とを算出するに際し、人の一般的な大きさ（例えば身長サイズでいえば１５０ｃｍ〜２００ｃｍ前後、顔サイズでいえば顔の長さが２０〜２５ｃｍ前後、顔の横幅が１５〜１８ｃｍ前後）と、これら物体の物理的な大きさとの比較関係から極端に大きすぎたり小さすぎたりと乖離している場合、つまり画像中に写る人としての大きさが妥当でない場合、「人存在領域」としない、または「人存在領域」としてもその「確度」を小さく補正することができる。

なお、画像の場合、手前は大きく、奥行き側は小さく写るため、サイズ補正を行うことは言うまでもない。また、像オブジェ、照明器具、ガラス窓などの大きさはものによってまちまちであることが多いため、これら物体の物理的な大きさを特定しにくい側面があるものの、その中でも特に座席シートなどはどの座席であっても概ねその大きさは一定の大きさ（例えばシート部が５０〜６０ｃｍ前後）で特定可能である。即ち、画像中の基準として用いられる物体は、いわゆる大きさ（既知情報）が一意に特定可能な規格品であることが望ましい。

（２）また、更に画像中に写る所定の物体（特に構造建築物等）の物理的な位置を基準として、人として物理的に位置しうる画像中の位置を考慮の上、「人存在領域」と「確度」とを算出することで、人検知精度の向上ひいては混雑エリアの判定精度向上を図ることができる。

例えば、図６及び図７の画像を参照すると、画像中、手前から奥行側にかけて通路が、中央には像オブジェが、通路には座席シートが、天井には照明器具、天井側面にはガラス窓などが設置されている。よって、人の身長よりも高い位置にある像オブジェの上部付近、照明器具及びガラス窓とは重なる位置やその近傍には、人として物理的に位置しえない。このようにこれら物体の物理的な位置との比較関係から、画像中に写る人としての位置が妥当でない場合、「人存在領域」としない、または「人存在領域」としてもその「確度」を小さく補正することができる。

（３）また、更に画像中に写る人物（人体）の、特に頭や顔といった一部しか写っていない画像同士の位置関係（距離関係）を考慮の上、「人存在領域」と「確度」とを算出することで、人検知精度の向上ひいては混雑エリアの判定精度向上を図ることができる。

上述したように、画像中に人物（人体）の大部分が写っている場合、人としての確からしさは高く判定されるため、検知結果の確度は高く算出されるが、一方、画像中に人物（人体）の一部しか写っていない場合、人としての確からしさは低く判定されるため、検知されたとしてもその検知結果の確度は低く算出される。また、上述の通りカメラ３１は施設３０の全体領域を撮像範囲としてカバーするため比較的上方から見下ろす形で画像を撮像する。このため、混雑エリアでは、画像中に人物（人体）の特に頭や顔といった一部しか写っていない画像が多数となる。

よって、画像中の一部画像同士の位置関係（距離関係）を考慮し、特に頭や顔といった一部しか写っていない一部画像同士が互いに所定よりも近い位置（近い距離）に存在している場合、もしくは一部画像同士が互いに重なって存在している場合、「人存在領域」としてのその「確度」を大きく補正することができる。
（４）画像中に写る特定の物体（予め登録等された物体）の物理的な位置を基準として、人として画像中の位置関係（距離関係）を考慮の上、「人存在領域」と「確度」とを算出することで、混雑エリアの判定精度向上を図ることができる。

人は所定の施設の周辺に集中しやすいという特徴がある。具体的に、後述するお店、保安検査レーンの前に並んでいる場合が典型例である。よって、画像中の特定の物体（予め登録等されたお店、保安検査レーン等）との位置関係（距離関係）を考慮し、特に頭や顔といった一部しか写っていない一部画像が特定の物体と近い位置（近い距離）に存在している場合、「人存在領域」としてのその「確度」を大きく補正することができる。

（人検出処理）
図９は、本実施形態に係る人検出処理を示すフローチャート図である。

Ｓ１１：管理サーバ１０は、混雑エリア判定処理を実行する。混雑エリア判定処理は、画像中、Ｓ３の検知結果により所定矩形領域中において所定数以上の人（人存在領域）が検知されている場合、その矩形領域を混雑エリアと判定する。これに対して、それ以外の矩形領域、即ち所定数以上の人（人存在領域）が検知されていない矩形領域を非混雑エリアと判定する。

Ｓ１２：画像中、少なくとも１以上の混雑エリアがあると判定された場合、混雑エリアがありとして、Ｓ１３へ進む。混雑エリアがない場合、Ｓ１５へ進む。

Ｓ１３：管理サーバ１０は、混雑エリア用ハイパーパラメータを取得する。混雑エリア用ハイパーパラメータは、記憶部１０８に予め記憶されている。

Ｓ１４：管理サーバ１０は、混雑エリア内から検知された検知結果（人存在領域及び確度のセット）のうち、その確度が混雑エリア用ハイパーパラメータよりも高い検知結果を検出する。なお、ハイパーパラメータは、例えば０から１の値を取りうる。

例えば、混雑エリア用ハイパーパラメータが「０．０１」（確度１％）であったとする。また、混雑エリア内から検知された検知結果として、例えば、検知結果１の確度が「０．５」、検知結果２の確度が「０．００１」、検知結果３の確度が「０．００５」、検知結果４の確度が「０．０１５」、検知結果５の確度が「０．５」であったとする。上述したように、混雑エリアにおいては、人が混んでいるため、人物同士が密集し重なっていたりするなどして画像中に人物（人体）の一部しか写っていないことも多く、確度が低い検知結果が多く出力される。そしてこの場合、混雑エリア用ハイパーパラメータ「０．０１」よりも確度が高い検知結果１、検知結果４、検知結果５が検出される。

Ｓ１５：管理サーバ１０は、非混雑エリア用ハイパーパラメータを取得する。非混雑エリア用ハイパーパラメータは、記憶部１０８に予め記憶されている。

Ｓ１６：管理サーバ１０は、非混雑エリア内から検知された検知結果（人存在領域及び確度のセット）のうち、その確度が非混雑エリア用ハイパーパラメータよりも高い検知結果を検出する。

ここで、非混雑エリア用ハイパーパラメータが、上述の混雑エリア用ハイパーパラメータ「０．０１」よりも高い、例えば「０．５」であったとする。また、非混雑エリア内から検知された検知結果として、例えば、検知結果６の確度が「０．９５」、検知結果７の確度が「０．０３」、検知結果８の確度が「０．００５」であったとする。非混雑エリアにおいては、画像中において人が混んでいないため、画像中に人物（人体）の大部分が写っていることが多く、実際に人が存在する場合には、相当に確度が高い検知結果が出力される。そしてこの場合、非混雑エリア用ハイパーパラメータ「０．５」よりも確度が高い検知結果６が検出される。

Ｓ１７：管理サーバ１０は、検出結果を出力する。検出結果は、少なくとも、画像中の人が存在するであろう「人存在領域」である。具体的に、検知結果１としての「人存在領域」、検知結果４としての「人存在領域」、検知結果５としての「人存在領域」、及び検知結果６としての「人存在領域」である。

なお、従来のように画像中の混雑エリア及び非混雑エリアを判定することなくハイパーパラメータが一律に「０．２」であった場合、検出結果は、検知結果１としての「人存在領域」、検知結果５としての「人存在領域」、及び検知結果６としての「人存在領域」となる。本実施形態の検出結果と比較すると、混雑エリアにおける検知結果４が検出されない。検知結果４の確度は「０．０１５」と低い値であるので、実際に人である又は人ではないという何れの可能性もありうる。しかしながら、混雑エリアにおいては画像中に人物（人体）の一部しか写っていないことも多いという特性、人がいるのにいないと判定されるリスク等を考慮すれば、本実施形態の検出結果は、混雑エリアの人数を把握する混雑状況管理システムや空席管理システムとって望ましい検出結果である。

なお、管理サーバ１０は、この検出結果を飲食店舗に対応する位置領域とマッピングするなどして、最終的に施設３０の混雑状況情報を表示することができる。

＜施設適用事例＞
図１０は、本実施形態に係るフードコート画像に基づく検出結果の一例を示す。カメラ３１は、施設３０としてのフードコートの画像をリアルタイムで撮像しており、撮像された画像はＧＷ３２を介して管理サーバ１０に逐一送信される。撮像されたフードコートの画像は、混雑エリアａと非混雑エリアｂを有している。「らーめん」、「ハンバーガー」、「たこ焼」の飲食店舗付近は人が混んでいる混雑エリアと判定されている。

図１１は、本実施形態に係る保安検査場画像に基づく検出結果の一例を示す。撮像された保安検査場画像は、混雑エリアａと非混雑エリアｂを有している。「レーン１」、「レーン２」、「レーン３」の保安検査レーンは人が混んでいる混雑エリアと判定されている。

図１０及び図１１に示される混雑エリアにおいては、人物同士が密集し重なっていたりするなどして画像中に一部しか写っていない人物も存在しているため、人検知処理において人であるかどうかの確度が低い人存在領域も検知される。本実施形態においては、混雑エリア内で比較的確度が低い人存在領域についても、検出結果として人が確かに存在するであろう領域として、非混雑エリアよりも積極的に検出する。

＜総括＞
以上のように本実施形態に係る混雑状況管理システム１００によれば、画像中において人が混雑している混雑エリアと、そうでない非混雑エリアとがある場合に、エリアに応じて人物検出精度に関するハイパーパラメータの最適化を図ることができる。また、混雑エリアの人数を把握する混雑状況管理システムや空席管理システムにおいて、特に画像中の混雑エリア及び非混雑エリアが存在する場合、好適に混雑状況を管理することが可能となる。

なお、本発明の好適な実施の形態により、特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。

施設は、利用者が利用可能であって混雑状況の監視対象となる設備や施設であればよい。例えば、単独の飲食店・レストランの入り口の待ち行列、公共施設やスタジアムの入場ゲート、遊園地のアトラクションなどであってもよい。

また、検知対象は、人のみに限られず、所定の物体でもよい。例えば、検知対象を駐輪場の自転車とすることができる。つまり、本実施形態に係る混雑状況管理システム１００によれば、駐輪場の監視カメラから、自転車が重なるようにして駐輪されている画像を取得し、混雑状況を管理することが可能である。

１０ 管理サーバ
２０ａ デジタルサイネージ
２０ｂ 携帯端末
３０ 施設
３１ カメラ
３２ ＧＷ
５０ ネットワーク
１００ 混雑状況管理システム
１０１ 画像取部
１０２ 人検知部
１０３ 確度算出部
１０４ エリア判定部
１０５ 混雑エリア検出部
１０６ 非混雑エリア検出部
１０７ 出力部
１０８ 記憶部

Claims (8)

1. 所定のスペースに存在する人を、前記スペースの画像に基づいて検出する物体検出装置であって、
   第１閾値と、該第１閾値よりも大きい第２閾値とを記憶した記憶手段と、
   前記画像を取得する取得手段と、
   前記スペースに存在する人を、前記画像に基づいて検知する検知手段と、
   検知された前記人毎に、該人が存在する確からしさを示す値を算出する算出手段と、
   前記画像中の領域のうち、所定数以上の前記人が検知された混雑エリアを判定する判定手段と、
   前記混雑エリア内で検知された前記人のうち、前記値が前記第１閾値よりも大きい人を検出する第１検出手段と、
   前記画像中の領域のうち前記混雑エリアを除く非混雑エリア内で検知された前記人のうち、前記値が前記第２閾値よりも大きい人を検出する第２検出手段と、
   を有し、
   前記算出手段は、前記スペースの画像中に写る所定の物体の物理的な大きさとの比較に基づいて、前記スペースの画像中に検知された前記人の大きさが妥当でない場合、前記値を小さく補正すること、
   を特徴とする物体検出装置。
2. 前記所定の物体は、大きさが一意に特定される規格品であること、
   を特徴とする請求項１に記載の物体検出装置。
3. 所定のスペースに存在する人を、前記スペースの画像に基づいて検出する物体検出装置であって、
   第１閾値と、該第１閾値よりも大きい第２閾値とを記憶した記憶手段と、
   前記画像を取得する取得手段と、
   前記スペースに存在する人を、前記画像に基づいて検知する検知手段と、
   検知された前記人毎に、該人が存在する確からしさを示す値を算出する算出手段と、
   前記画像中の領域のうち、所定数以上の前記人が検知された混雑エリアを判定する判定手段と、
   前記混雑エリア内で検知された前記人のうち、前記値が前記第１閾値よりも大きい人を検出する第１検出手段と、
   前記画像中の領域のうち前記混雑エリアを除く非混雑エリア内で検知された前記人のうち、前記値が前記第２閾値よりも大きい人を検出する第２検出手段と、
   を有し、
   前記算出手段は、前記スペースの画像中に写る所定の物体の物理的な位置との比較に基づいて、前記スペースの画像中に検知された前記人の位置が妥当でない場合、前記値を小さく補正すること、
   を特徴とする物体検出装置。
4. 前記所定の物体は、人の身長よりも高い位置にある物体であること、
   を特徴とする請求項３に記載の物体検出装置。
5. 所定のスペースに存在する人を、前記スペースの画像に基づいて検出する物体検出装置であって、
   第１閾値と、該第１閾値よりも大きい第２閾値とを記憶した記憶手段と、
   前記画像を取得する取得手段と、
   前記スペースに存在する人を、前記画像に基づいて検知する検知手段と、
   検知された前記人毎に、該人が存在する確からしさを示す値を算出する算出手段と、
   前記画像中の領域のうち、所定数以上の前記人が検知された混雑エリアを判定する判定手段と、
   前記混雑エリア内で検知された前記人のうち、前記値が前記第１閾値よりも大きい人を検出する第１検出手段と、
   前記画像中の領域のうち前記混雑エリアを除く非混雑エリア内で検知された前記人のうち、前記値が前記第２閾値よりも大きい人を検出する第２検出手段と、
   を有し、
   前記算出手段は、前記スペースの画像中に複数の前記人の顔又は頭が検知された場合、該人の顔又は頭同士の位置が所定よりも近いもしくは互いに重なっている場合、前記値を大きく補正すること、
   を特徴とする物体検出装置。
6. 所定のスペースに存在する人を、前記スペースの画像に基づいて検出する物体検出装置であって、
   第１閾値と、該第１閾値よりも大きい第２閾値とを記憶した記憶手段と、
   前記画像を取得する取得手段と、
   前記スペースに存在する人を、前記画像に基づいて検知する検知手段と、
   検知された前記人毎に、該人が存在する確からしさを示す値を算出する算出手段と、
   前記画像中の領域のうち、所定数以上の前記人が検知された混雑エリアを判定する判定手段と、
   前記混雑エリア内で検知された前記人のうち、前記値が前記第１閾値よりも大きい人を検出する第１検出手段と、
   前記画像中の領域のうち前記混雑エリアを除く非混雑エリア内で検知された前記人のうち、前記値が前記第２閾値よりも大きい人を検出する第２検出手段と、
   を有し、
   前記算出手段は、、前記スペースの画像中に複数の前記人の顔又は頭が検知された場合、前記スペースの画像中における物体の位置が予め登録された所定の物体と、前記人の顔又は頭の位置とが所定よりも近い場合、前記値を大きく補正すること、
   を特徴とする物体検出装置。
7. 前記所定の物体は、前記人に供される設備であること、
   を特徴とする請求項６に記載の物体検出装置。
8. 請求項１ないし７何れか一項に記載の物体検出装置を有する、混雑状況管理装置。